概要

・クラス内の分散を低減し、クラス間のマージンを同時に学習するOrthogonal Low-Rank Embedding(OLE)を提案・ OLEはlossに低ランク制約と直交化制約を加える．

新規性・結果・なぜ通ったか？

・学習画像が少ないデータセットで特に効果があり，Stanford STL-10でstate-of-the-art

コメント・リンク集

• 論文
• github

概要

・ Light Field Blind Motion Deblurring (LF-BMD)を低次元の部分問題に分解できるMDFベースのブレ軽減手法の提案

新規性・結果・なぜ通ったか？

・最先端の手法と異なり、現実的にレンズの屈折効果を捕らえ、広角のアングルや不規則な撮影者の動き対しても適用可能・並列処理可能なアルゴリズムのためGPUなどの並列処理可能

コメント・リンク集

• 論文
• Supplementary material

概要

透視投影カメラ画像上の消失点，消失線に関する議論は多く行われてきたが，反射屈折カメラ画像上での消失点，消失曲線を表現する解析的モデルの開発は行われてきていなかった． 反射屈折カメラ画像上では，一つの消失点から発生する平行曲線は別の消失点に再度収束するというところが透視投影カメラ画像のものとは異なる．

そこで，カメラのキャリブレーションパラメータ，鏡形状係数，3D空間の平行線の方向ベクトルのパラメータを用いた パラメトリック方程式を提案． 鏡面は軸対称二次曲面で表現．それを透視投影カメラが観測するような光学モデルのもと，定式化．

新規性・結果・なぜ通ったか？

今まで行われてこなかった反射屈折カメラにおける消失点・消失曲線のパラメトリック解析手法を与えた．

コメント・リンク集

凄くすっきりしたネタと論文．

• 論文

概要

歩行者ごとで隣接フレーム間の変位を逐次予測するCIDNN(Crowd Interaction Deep Neural Network)を提案．群衆による歩行者の影響のレベルをLSTMによって重み付けをし，従来の手法に比べ， 対象の歩行者への空間的親和性の重要度を高くしている． 提案手法は以下を可能にし公的に利用可能なデータセットにおいて高精度な軌道予測を実現した．

• LSTMベースのモーションのエンコード
• 位置推定に基づく空間的測定
• 座標変位に基づく軌道予測

新規性・結果・なぜ通ったか？

• 歩行者の軌道に影響を及ぼす可能性を空間的特性を維持しながらレベル感を考慮し軌道予測を行った．
• キーフレームにおける外観ベースのキーポイントと組み合わせることで各フレームのキーポイント検出をさけ精度を低下させることなく効率的に行った．

コメント・リンク集

• 論文

概要

追加のアノテーションやドメイン知識なしに、disentangleな変動要因からなる表現をunsupervisedに学習することが目標。disentangleな変動要因とは、物体の姿勢や色など画像に渡って一貫して識別できる画像特徴に対応する要因のこと(ここではfeature chunkと呼ぶ)。この論文のポイントと提案手法は次の項目。1)disentangleな変動要因表現は、feature chunkの連結によって構成されるということ。2)autoencoderを利用し、不変的な画像属性とfeature chunkをencodeとdecodeすることを促進する目的関数、3)変動要因を見分けられ、各feature chunkが一貫性を持つ表現を確実にするために分類制約したこと。

新規性・結果・なぜ通ったか？

前述の2)に関して、図のようなmixing autoencoderとadversarial learningを組み合わせたことが新しい。encoderとdecoderが(画像全体を表現するのに十分であれば)ただ一つのfeature chunkで表現できてしまう問題(shortcut problem)を分類制約を加えることで回避したことも新しい。

コメント・リンク集

この論文のキーアイデアは、論文中のmixされたx1の属性がx3にdecodeされ、再びencodeされたときx1の属性が保存されていることであり、cycle構造のようで、この論文に似ていた。これをclassifierと組み合わせてdisentangleな特徴抽出を行ったのはおもしろい。だが、これでdisentangleな特徴が得られているのか、比較が単純なAEだけ(VAEやほかの関連研究との比較が不足)、など評価方法に疑問が残る。

• 論文

概要

• セマンティック空間の構造を利用したunseen categories識別のための新たなZero-shot learningの手法を提案した．
• 従来のrankingベースなZero-shot learningの手法はfixed marginなどの原因で，セマンティック構造が失ってしまう問題点がある．著者達がZero-shot learningタスクに対し①識別能力②unseen categories識別のためにセマンティック空間の特性をinhertingすることの2つが重要と指摘し，識別能力を保ちながら，セマンティック関係も守れる手法を提案した．
• 具体的には①semantic space構造をカテゴリ間のrelationsに分解する②relationsを更に3種類に分解する：identical; semantic similar; semantic dissimiar.③指定されたカテゴリに対して，semantic tupleを求め， semantic tupleに現状のカテゴリと3種類の関係を持つほかのクラスのサンプルを記録する．また，embedding spaceのこういった関係を保つようなロス関数を設計した．

新規性・結果・なぜ通ったか？

• SUN, AWA2, CUB, aPYなどのデータセットにおいてSoTAなzero-shot learningパフォーマンスを得られた．
• 提案手法を用いてattribute informationなしのカテゴリに対してsemanticの推定も行えると指摘した．

コメント・リンク集

• Unseen categoryに対してsemanticを予測するタスクも面白いと思う
• 論文

概要

• Self-supervise学習のための学習済みの教師グラフのneighboring pointsをregularizeする手法SNTGを提案した．
• 従来のSelf-supervise学習の一つの種類では，data pointにpertubationsを追加する手法がある．このような手法では，従来単一のdata pointに対しpertubationsを追加，data points間のconnetctionsが考えられなかった．このため，従来手法がunlabeled data structureの clusters, manifoldsなどの情報を利用できない．このような問題点から， Smooth Neighbors on Teacher Graphs (SNTG)を提案し，data points間のconnectionsを考慮したdata manifoldのsmoothness手法を提案した．
• 具体的には①SNTGが教師モデルの予測をベースにgraphを構築する②構築したgraphを用いてneighboring pointsの相似性を評価する，低い次元のmanifoldでneighboring pointsがsmoothである．このようなプロセスを用いて，neighboring pointsが相似し，non-neighborが相似しないように学習される．

新規性・結果・なぜ通ったか？

• Semi-supervised学習ベンチマークでSoTAな結果を得られた．CIFAR-10(4000 labels):9.89%error rates, SVHN(500 labels):3.99%error rates.
• クラス数が少ない場合，大幅に進歩が従来より大きい．MNIST(20 labels)ではerror ratesを4.81%から1.36%に下げた.

コメント・リンク集

• Self-supervised学習が面白い
• 論文
• link3

概要

• 合成画像のStructured uncertainty distributionを予測する手法を提案した．提案手法をAE, VAEなどと組み合わせにより良いパフォーマンスを得られる．
• 伝統的なfactorized Gaussian distributions により生成したサンプルが平滑しすぎる問題点がある．著者達がこの問題を解決するために，trained probabilistic生成モデルからresidual distributionを予測するネットワークを提案した．特に，structured Gaussian distributionによりresidual distributionをモデリングする．提案ネットワークがmaximum likelihood estimationにより学習可能であり，従来のfactorized Gaussian distributions と比べよりリアルで詳細的な画像を生成できると指摘した．

新規性・結果・なぜ通ったか？

• 提案手法が有効的に合成画像のresidual distributionをリコンストラクでき，リアル顔画像から高頻度で，より詳細的な類似顔画像を生成できる．

コメント・リンク集

• 伝統的なVAE, AEと組み合わせしてよりリアルな画像を生成できるので，合成データを作成する場合に参考になれる．
• 処理詳細についてよく理解できていなかった
• 論文

概要

• クラス識別器がどのような入力信号により識別を行っているかにより新たなDCNN理解・解釈性に関する手法を提案した．
• 提案手法は①Auto-Encoderを学習する②評価対象となる物体識別器を学習する③①のencoder,②の識別器のパラメータをfixして，AE+Classifierをfinetuning.④ finetuning後のdecoderの結果を分析することによりDCNNの分析・解釈を行う．また，提案手法がAE+classifierで行う理由が①decoderがclassifierが使用する有用な情報を保護し，いらない情報を捨てる効果がある②再学習によりAEがノイズなどの元の入力の邪魔になる部分を減衰させる方法で入力を再構成するように学習できる．

新規性・結果・なぜ通ったか？

• 従来のDCNN解釈性の方法は主に中間層あるいは出力層の表現より分析を行っている．この文章で入力信号をどれくらい用いるかにより新たな視点でDCNN解釈性を取り組んだ．
• 提案手法は実験に用いた全部の識別器が少ない入力信号しか頼らないことを発見した．(例えばResNet:<10%)このようなことから， DCNN識別器がadversarial examplesによりロバストではないことがわかる．

コメント・リンク集

• 入力画像信号のかなり少ない部分しか識別器の結果に影響する発見が面白い．いかに入力画像の信号をより多く推定に使用することがロバスト識別に重要です．
• 論文

概要

現在の水中画像形成モデルでは無視されていたより多くの依存関係を実際に導入することにより，画像補正を行う．

新規性・結果・なぜ通ったか？

理論的分析と現実世界の実験を通して、一般的に使用される水中画像形成モデルがこれまで説明されていなかった誤差を生じることを実証した。

コメント・リンク集

• 論文
• Supplementary material

概要

一般的なMRF-MAP問題はNP-hardだが、ポテンシャル関数がsubmodularのとき、多項式時間で解くことができる。この式を解くためには、フローベースのアプローチと多面体ベースのアプローチがある。その2つのアプローチを組み合わせるフレームワークを提案

新規性・結果・なぜ通ったか？

Generic Cuts やSOSMNPのようなアルゴリズムを組み合わせることの有効性を確立

コメント・リンク集

CNNじゃない論文

• 論文
• プロジェクトページ

概要

適度に歪んだレンズの画像であっても,，ピンホールカメラモデルを使用した平面補正は不正確または無効である．提案するソルバーは，カメラモデルにレンズ歪みを組み込み，精密な整流をワイドアングル画像に拡張する．これは現在コンシューマカメラにおいて一般的である．ソルバーは，放射状のレンズ歪みのための分割モデルと統合された，撮像されたシーン平面の共役変換によって誘発される制約から導かれる．理想的な彩度を持つ隠れ変数のトリックを使用して制約を再定式化し，Gröbner法で生成されたソルバーが安定し，小さくて速くなるようにする．

新規性・差分

整流およびレンズ歪みは，共役的に翻訳されたアフィン - 共変動特徴または2つの独立して翻訳された類似共変動特徴のいずれかから回復される．提案されたソルバーはRANSACベースの推定器で使用され，少数の反復後に正確な整流が行われる．提案されたソルバーは最先端技術に対して評価され，ノイズの多い測定で大幅に改善された整流を表現する．

結果

合成実験では，最先端技術と比較して，提案されたソルバーの整流精度およびレンズ歪み推定の測定に関して，良好な安定性およびノイズに対する優れた堅牢性を実証した．しかしながら，分割モデルによって歪められた共役変換から生じる多項式制約式は，安定したソルバーを生成するために隠れ変数トリックで変換される必要がある，定性的な実像実験では，高度に歪んだ広角レンズのための高品質の整流を表現した．

• 論文

概要

RGBイメージングからのハイパースペクトル再構成は，疎なコーディングと深い学習を経て著しい進歩を遂げているが，既存のRGBカメラが人間の三色知覚を模倣するように調整されているため，それらのスペクトル応答はハイパースペクトル再構成に必ずしも最適ではない．この論文では，RGBスペクトル応答を使用するのではなく，（ハードウェアで実施される）最適化されたカメラスペクトル応答関数と，エンドツーエンドネットワークを使用するスペクトル再構成のためのマッピングとを同時に学習する．

新規性・差分

私たちのコアアイデアは，カメラスペクトルフィルタが畳み込み層のように効果的に作用するので，標準的なニューラルネットワークを訓練することによって，それらの応答関数を最適化することができる．我々は，空間モザイク処理を用いない3チップ構成と，Bayer形式の2×2フィルタアレイを用いた単一チップ構成の2種類の設計されたフィルタを提案する．数値シミュレーションは，既存のRGBカメラと比較して深く学習されたスペクトル応答の利点を検証する．

結果

深い学習手法を用いて非負の無限大空間におけるフィルタ応答関数を学習する方法を示した．特殊な畳み込みレイヤーをU-netベースの再構成ネットワークに追加し，3つの独立したフィルタとBayerスタイルの2×2フィルタアレイの形で，標準RGBレスポンスより優れた応答関数を確認できた．実際のマルチスペクトルカメラを構築するために，CCDカメラの応答を設計プロセスに組み込んだ．2つのフィルタをうまく設計/実装し，スナップショットハイパースペクトル画像のためのデータに基づいたバイスペクトルカメラを構築しました．

• 論文

概要

深い畳み込みネットワーク（ConvNets）は，多くのコンピュータビジョンタスクで前例のないパフォーマンスを達成しているが，単一の画像を集める集団への彼らの適応はまだ未熟な状態であり，過度の過度のフィッティングに苦しんでいる．ここでは,深い負の相関学習（NCL）によって一般化可能な特徴を生成する新しい学習戦略を提案する．より具体的には，本質的な多様性を管理することによって，健全な一般化能力を持つ無相関回帰変数のプールを深く学習する．

新規性・差分

無相関ConvNet（D-ConvNet）という名前の提案方法は，エンドツーエンドで訓練可能であり，バックボーン完全畳み込みネットワークアーキテクチャから独立している．非常に深いVGGNetとカスタマイズされたネットワーク構造に関する広範な実験は，いくつかの最先端の方法と比較した場合のD-ConvNetの優位性を示している．

結果

Decorrelated ConvNet（D-ConvNet）と名付けた提案方法が，固有の多様性を管理することによって健全な一般化能力を有することを示している．DConvNetは，一般的であり，バックボーン完全畳み込みネットワークアーキテクチャから独立している．非常に深いVGGの広範な実験や，いくつかの難しいデータセットでカスタマイズされたネットワーク構造がD-ConvNetの優位性を実証した．

• 論文

概要

トーンマッピングは，視覚情報が保存された高ダイナミックレンジ画像から標準ダイナミックレンジ画像を再現することを目的とする．最先端のトーンマッピングアルゴリズムは，主に画像を基本レイヤーと詳細レイヤーに分解し，それに応じて処理する．本論文では，これらの問題に対処するハイブリッド l_1−l_0分解モデルを提案する．我々はさらに，我々の層分解モデルに基づいてマルチスケールトーンマッピングスキームを提案する．

新規性・差分

最先端のトーンマッピングアルゴリズムは，主に画像を基本レイヤーと詳細レイヤーに分解し，それに応じて処理します．これらの方法は，2つの層に課せられた適切なプリヤの不足のために，ハローアーティファクトおよび過度の増強の問題を有する可能性がある．本論文では，これらの問題に対処するハイブリッドl_1−l_0分解モデルを提案する．具体的には，基底層には，その区分的な平滑性をモデル化するために，1つの希薄項が課される．ディテールレイヤーには構造優先として(0)の希薄語が課され，これは区分的に一定の効果をもたらす．我々はさらに，我々の層分解モデルに基づいてマルチスケールトーンマッピングスキームを提案する．

結果

実験では，トーンマッピングアルゴリズムは，主観評価と客観評価の両方で最先端のトーンマッピングアルゴリズムより優れたハローアーチファクトで視覚的に魅力的な結果を達成した．

• 論文

概要

古典的なD-ConvNetは，パラメータの数の増加を防ぐために，徐々に分解能を低下させるか，手作業で拡張した畳み込みを適用することによって受容野のサイズを増加させる． 本論文では，手作業を必要としない新しい変位型集約ユニット（DAU）を提案する．固定された規則的なグリッド上に配置された単位（ピクセル）を有する古典的なフィルタとは対照的に，DAUの変位が学習され，フィルタが受容野を所与の問題に空間的に適応させる．通常のフィルタを備えたConvNetsと比較して，DAUを備えたConvNetsは，より速いコンバージェンスと，パラメータの最大3倍の低減で同等の性能を実現します．

新規性・差分

分類およびセマンティックセグメンテーションタスクでDAUの強さを広範に実証している．通常のフィルタを備えたConvNetsと比較して，DAUを備えたConvNetsは，より速いコンバージェンスと，パラメータの最大3倍の低減で同等の性能を実現する．さらに，DAUにより，斬新な視点からDeepNetWorkを研究することができる．DAUフィルタの空間分布を研究し，フィルタ内の空間カバレッジに割り当てられるパラメータの数を分析する．

結果

フィルタごとのパラメータ割り当てに関する包括的な調査では，既存のConvNetsのパラメータの非効率的な割り当てが示された．DAU-ConvNetsは従来のCovnNetsに匹敵する性能をフィルタ当たり3倍少ないパラメータで達成した．分析によれば，増幅係数が最も低いユニットを除去することで，性能を犠牲にすることなくパラメータの10％を節約することができるため，さらなる改善の余地があることがわかる．さらに，完全に接続されたレイヤにDAUを適用するための最近の予備的な作業は，完全に接続されたレイヤのパラメータの節約も可能であることを示している．

• 論文

• MILにおいてインスタンスだけでなく画像全体も合わせて単一のベクトルで特徴表現するための手法を提案
• それを実現するための目的関数と最適化方法の部分で理論的に新規性がありそう?

• 論文
• 非Deep論文で，関連研究とか比較手法としてすらDeepの話が一単語も出てこないのすごい．
• 特徴表現を提案している論文っぽく見えるのに，実験の比較はSVMなど識別器と比較しているのがちょっとよくわからない．
• Non-greedy Ratio Maximization of the L1-norm Distancesという論文の肝っぽいところもよくわかってない...

概要

3D shapeを学習する際にposeに独立なgeometryの潜在変数空間を学習するネットワークであるquotient autoencoder(QAE)を提案。通常のAEに加えて、orbit poolingとquotient lossという2つのアイディアを追加した。orbit poolingでは、入力された3D shapeに対して様々な回転を与えそれらから得られる潜在変数のうち、各成分の最大値をその3D shapeを表現する潜在変数とする。quotient lossでは、リコンストラクションされた3D shapeと参照3D shapeの距離の下限をロスとして採用する。この2つの方法によってposeに不変な潜在変数空間を構築する。

新規性・結果・なぜ通ったか？

• ShapeNet datasetを用いてデータオーギュメンテーションを行なった通常のVAEと比較。
• リコンストラクションした際のdepth map、ボクセルの誤差においてもっとも高い精度を達成。
• 一度QAEを学習すれば、同一3D shapeに対して任意の回転を与えた出力を行うことが可能。
• orbit pooling においてRBFを用いた非剛体変形を学習させることも可能。

コメント・リンク集

• 3D shapeに特化したモデル構築ではなく一般的な枠組みなので、他のデータ入力にも対応可能だと考えられる。
• 論文
• Supplementary material

概要

本稿では，かすんでいる画像から鮮明な画像を復元する手法を提案する。既存の手法では伝送マップおよび大気光を推定するために，例えば暗いチャネル，色の視差，最大のコントラストといった手作りの特徴を使用することが多い。本稿ではこの問題を条件付き生成的対立ネットワーク（cGAN）に基づいて解決する。ここで，鮮明な画像は，end-to-endの訓練可能なニューラルネットワークによって推定される。基本的なcGANの生成ネットワークとは異なり，本稿ではより良​​い結果を生み出すことができるように，エンコーダとデコーダのアーキテクチャを提案する。

新規性・結果・なぜ通ったか？

・条件付きGANを用いることにより，かすんでいる画像から鮮明な画像の生成を実現している。・鮮明な画像を生成するためにVGGフィーチャとL1正規化勾配を事前に導入することによって，基本のcGANフォーメーションをさらに修正している。

コメント・リンク集

• link

概要

本稿では高次元のデータと畳み込みニューラルネットワーク分類機を用いたアクティブ学習から最近提案されたいくつかの手法の検討をする．モンテカルロドロップアウト手法と幾何学手法に対してアンサンブルベースと比較する． MNISTとCIFAR-10の結果を示し，約12,200個のラベル付き画像で90％のテストセット精度を達成し，ImageNetで初期結果を得た．

新規性・結果・なぜ通ったか？

アンサンブルベースの不確かさは，他の不確かさ推定方法（特にMCドロップアウト）よりも一貫して優れていることを示し，MNISTとCIFAR-10の最先端のactivity learningパフォーマンスにつながる．

コメント・リンク集

• URL

概要

凸緩和を介して複数の幾何モデルを複数の構造データにフィッティングするための新しい方法を提案．COnvex Relaxation Algorithm（CORAL）を用いて多次元データを適合させ、セグメント化するための新しい最適化を行う．復ごとに同等のアーキテクチャで2桁の速さで最小化されるため、より多くの幾何学的マルチモデルフィッティング問題にリアルタイムで堅牢なパフォーマンスを得た．

新規性・結果・なぜ通ったか？

• COnvex Relaxation Algorithm（CORAL）は幾何学的マルチモデルフィッティングのための最適最小化アルゴリズム
• ラベルに対するポイントごとの評価を同時に処理することにより、本質的にランタイムパフォーマンスを向上

コメント・リンク集

• Paper

概要

既存のテキストの認識手法は，検出と認識を別のタスクとして扱う物が多い，しかし，本研究では，同時に検出と認識をするためのend-to-endで学習可能なFast Oriented Text Spotting（FOTS）を提案する．ICDAR 2015、ICDAR 2017 MLT、およびICDAR 2013を用いた文字の検出，識別の評価実験では既存の手法と比較してSoTAであった．

新規性・結果・なぜ通ったか？

• フレームワークをend-to-endとし，畳み込んだ特徴を共有することで，わずかな計算オーバーヘッドで同時にテキストを検出，認識することができ速度が向上．
• 畳み込んだ特徴マップから方向付けられたテキスト領域を抽出するためのRoIRotateを導入し，検出と識別の工程を結合．

コメント・リンク集

• YouTubeを見てみたが検出・識別する速度が早い！
• Paper
• YouTube

概要

一組のイメージカーブを用いて，3D直線に対応するという知識に基づき単一画像内のRS歪みを補正するロバストな方法を提案．一様な運動モデル下で移動するローリングシャッターカメラによって出現する3D直線の投影のためのパラメトリック方程式を定式化し，少なくとも4つのイメージカーブを用いて，姿勢パラメータとは別にカメラの角速度を効率的に推定する方法を提案．さらに，3D直線に対応するイメージカーブを選択し，3次元での実際のイメージカーブを選択するRANSACのような戦略を提案．

新規性・結果・なぜ通ったか？

・　合成データと実データの両方を用いた比較実験によりstate-of-the-art．

コメント・リンク集

• 論文

概要

高次のMRF(Markov Random Field)によるトランスダクティブ推論のための新しいアルゴリズムの提案．MRFでは単項式のエネルギーは可変分類器によってパラメータ化され，連続的な分類子のパラメータと離散的な変数の共同最適化問題として提起される．問題解決のために，凸緩和などの従来手法と対照的にADMM(Alternating Direction Method of Multipliers)での効率的な最適化手法として関連目的関数を離散的かつ連続的な問題に切り離すことを提案．離散変数の完全性を保ち，臨界点への大域収束性を保証している.

新規性・結果・なぜ通ったか？

・　MAPの推論問題の準最適解を得ることができ，計算上より困難なMRFを考慮することが可能．・　k-meansと対照的に深層特徴と統合される ・　従来手法より一貫した結果となり，ランタイム，メモリ消費について効率的．

コメント・リンク集

• 論文

概要

画像歪みに対するCNNの頑健性を改善する研究．特徴分布の高いモーメント統計は画像の歪みによってシフトする可能性があり，性能低下につながる．この効果を低減するために，特徴量の量子化によるアプローチを提案．1)スケーラブルな分解能を持つ床関数，2)学習可能な指数を持つ累乗関数，3)データ依存指数を用いた累乗関数の3種類の非線形関数をCNNに採用．

新規性・結果・なぜ通ったか？

・　提案手法を用いたResNet-50でモーションブラー，ごま塩ノイズ，それらの複合の歪みで歪んだ画像を用いたILSVRC-12分類タスクでそれぞれ6.95%，5.26%，5.61%の精度向上．

コメント・リンク集

• 論文

概要

多視点での車両の再識別問題を解決するために，視覚情報のみを用いたViewpoint-aware Attentive Multi-view Inference(VAMI)モデルを提案．VAMIは，任意の視点の車両画像を与えると，入力画像毎に単一視点の特徴を抽出し，その特徴を可変多視点の特徴表現に変換する．また，異なる視点で重要となるコア領域を選択し，敵対的学習で効果的なマルチビューの特徴推論を実装するため，視覚的なアテンションモデルを採用．

新規性・結果・なぜ通ったか？

VeRiとVehicleIDの2つのデータセットでの車両の再識別についてstate-of-the-artよりも改善．

コメント・リンク集

• 論文

概要

MOVIE graphsという新しいデータセットの提案．映画のクリップ中の社会的状況のグラフベースのアノテーションを詳細に行ったデータセットであり，各グラフは現在誰が写っているのか，感情や体格はどうか，複数人写っている場合の関係は，それらの間のインタラクションはといったさまざまなノードで構成されている．また，データセットの徹底的な分析を行い，時間経過とともにシーンの異なる社会的側面の興味深い常識的な相関関係を示す．グラフを用いてビデオとテキストを照会する方法として１）私たちのグラフは各場面をまとめて複数の意味的に関連する状況を取り出す方法，順序付けと理由の理解を通してインタラクションの理解のための方法を提案．

新規性・結果・なぜ通ったか？

・　人間中心の状況の推論された特性に焦点を当てた最初のベンチマークである．・　各クリップには，シチュエーションラベル，シーンラベル，および支援言語の説明がアノテーションされおり，視覚的かつ時間的に接地されている．グラフのキャラクターはクリップの中の顔のトラックに関連付けられ，ほとんどのインタラクションは発生する時間間隔に関連付けられる．

コメント・リンク集

• 論文
• Project Page

概要

• 新たな画像からPart stateをピクセルレベルで予測するタスク及び手法を提案した．(例:車のドアを入力画像から検出し，状態はopened)
• 著者達が物体パーツのセマンティックスペースを離散的なpart stateによりtokenizeし，各々のオブジェクトパートが一組のstateと関連する．推定段階ではピクセルレベルで物体パーツを検出し，stateをphraseにより出力する．また，提案タスクに用いられる新たなデータセットを構築した(画像はPASCAL VOC2010を用いた)．
• RGB-S(入力画像と推定したパーツセグメンテーション画像)からinteractiveでparts stateの予測を精密化するネットワークを提案した．

新規性・結果・なぜ通ったか？

• 新たなpart stateデータセットを提案．
• 提案手法をオブジェクトrelationship推定タスクにも用いられる．また，実験により提案手法が有効的にセマンティックパーツstatesを予測できる．

コメント・リンク集

• 従来のパーツセグメンテーションより一層理解のレベルが高い．また，提案のパーツstates推定が様々なほかのタスクに用いられる．
• VQA, Image captioningなどの画像理解部として用いられそう
• 論文

概要

• 大規模室内画像の6Dカメラ姿勢推定の手法InLocを提案した．提案手法がquery画像と大規模室内3次元マップからquery画像のカメラ姿勢推定を行う．大規模室内における新たな視覚的位置推定手法を提案した．具体的には：①大規模環境から候補姿勢を推定する②dense matchingを用いたテクスチャーレスシーンにも用いられる姿勢推定を行う．③視点合成をベースとした姿勢検証を行い，視点，シーンレイアウト，遮蔽にロバストに対応できるようにした．
• 大規模室内環境の画像の6Dカメラ姿勢推定用データセットを提案した．提案データセットのquery画像が手持ち携帯カメラにより異なる時間帯で収集され，ロバストアルゴリズムに用いられる．

新規性・結果・なぜ通ったか？

• 初めてのdense data associationを用いた室内環境位置推定手法であると指摘した．
• 提案したデータセットにおいて，従来手法より大幅に精度向上を実現した．

コメント・リンク集

• 室内の画像6D姿勢推定はかなり挑戦的なタスクのように思う．
• 論文

概要

• 大規模3D synchronizedマルチビデオからヒューマンインタラクションのdense semantic trajectory streamを再構成する手法の提案．
• マルチビデオからヒューマンインタラクションの軌跡を推定するにあたり，自己遮蔽，2Dノイズ，軌跡がfragmentedであるなどの問題点がある．著者達は，多視点の中により確信度が高い視点が存在するとして，そのような視点を導くための軌跡のセマンティックラベルの概率分布図3D semantic mapを提案した． 3D semantic mapは可視性および2D認識の確信度をベースとしたview poolingにより生成できる．また，密な軌跡が得られる場合，同じ物体の軌跡を局所剛体変換により表示できることから， 3D semantic map から局所剛体変換を推定することにより長距離軌跡に対応できる軌跡ラベル推定を行う．

新規性・結果・なぜ通ったか？

• リアル環境でオブジェクト，シーンまたは人などとインタラクションする人のセマンティック軌跡推定実験を行い，定性的結果により提案手法が①推定の正しさ②ロバスト性③長距離での有効性などの面においてベースライン手法より良い表現を達成した．

コメント・リンク集

• 人をVR環境に再生することに用いられそう
• 論文

概要

• PointCloudデータをCNNにより直接取り扱う新たなネットワークSCN(Shape Context Net)を提案した．クラシックなshape contextを階層的なCNNと組み合わせることをベースとした．
• 提案手法は従来のshape contextをCNN Building Blockにした．このblockを積み重ねることにより，局所からグローバル特徴を表せる．Shape Context Blockは具体的には，selection，aggregation，transformationから構成される．① selection：coarseグループとなる局所ポイントを選択する．②aggregation：相対位置の分布を捉えられるrobust descriptorを構築③transformation：異なる領域のポイントグループのdescriptorsを高次な特徴空間に射影する．

新規性・結果・なぜ通ったか？

• 提案のShape context blockをCNNより取り扱えるほか，hand designedな特徴量も適応できる．
• 提案のshape context blockをベースとしたpointcloud分類，セマンティックセグメンテーションネットワークはshapenet，modelnet40などのデータセットにおいてSoTAなパフォーマンスを達成した．

コメント・リンク集

• PointNetと類似し，PointNet++より簡潔な構造を持っている．
• 論文

概要

• Cross-modal, cross-levelな特徴を融合するEnd-to-EndなRGB-D salient物体検出ネットワークを提案した．
• 従来のRGB-Dデータを取り扱うネットワークは直接RGB，Dの特徴を連結するか，深い層の特徴だけ融合する事が多い．著者達は①もっと明示的にcross modalのcomplementary part をモデリングするべき②全部のレベルでcomplementを探索するべきの2つのところから，complementarity awareなネットワーク(CA Fuse)を提案し，CNNの層ごとにcross modalの特徴を結合する． CA Fuseに浅いから深い層までlevel-wiseに教師信号により，cross-levelなcomplementがより良く組み合わせられると指摘した．

新規性・結果・なぜ通ったか？

• 提案手法がcross modal, cross levelでRGBとDの情報を結合することにより，より有効的にRGBとDを融合できる．
• NLPR, NJUD, STEREOデータセットにおいてSoTAなsalient物体検出パフォーマンスを得られた．

コメント・リンク集

• RGBとDをいかに融合した方が良いのかを紹介しているので，一度実装してみたい
• 論文

概要

• DNNにおける全結合層と畳み込み層の両方のパラメータを圧縮するTensor Ring Networks (TR-Nets)を提案した．
• 実験によりTR-NetsはLeNet-5を精度の劣化なしに1/11に圧縮できることを示し，Cifar10の画像分類タスクにおいてWide ResNetを2.3%の劣化で1/243に圧縮できることを示した．

新規性・結果・なぜ通ったか？

• 既存の手法では主に全結合層のパラメータの圧縮に着目していたが，本研究では層の深いニューラルネットワークにおける全結合層と畳み込み層の多次元のテンソルパラメータを圧縮する手法を提案した．

コメント・リンク集

• 論文

概要

• 長年にわたって収集した異常や病変のアノテーションを施した放射線画像は基本的にソートされておらず、タイプや位置情報などの意味的なアノテーションがされていない．そこでこの研究では各病気の特徴を学習し，それらを整理，探索することで，重要な放射線画像を含む大規模なデータセットDeepLesionを提案した．

新規性・結果・なぜ通ったか？

• PACSから収集した新たな病変データセットとして，32Kを超える画像枚数と病変のバウンディングボックスとサイズを含むDeepLesionを提案した．
• CT画像内で検出された病変間の関係を効果的に検出，整理，学習する手法を開発した．

コメント・リンク集

• 論文

概要

近似的最近傍探索法（Approximated Nearest Neighbor; ANN）をベースにした直積量子化（Product Quantization; PQ）手法を提案する。粗な量子化、直積量子化、回転行列、コードブック計算に量子化法を用い、OpenCL-FPGAを使用したIntel HARPv2プラットフォームにより実装する。

新規性・結果・なぜ通ったか？

大規模かつ高次元のANNにおいて、FPGAによりCPU/GPUのパフォーマンスを越えることに成功した最初の例である。YFCC100M/BigANN/Deep1Bにおいて検証を行なった。

リンク集

• 論文

概要

ビジョンベースの慣性ナビゲーションシステム（Vision-aided Inertial Navigation Systems; VINS）に関して、低コストなステレオビジョンを提案する。通常は２カメラを用いるが、計算的なコストやレイテンシが問題になってしまう。Left-Rightカメラの代替として、片方のカメラのみでカメラ姿勢を推定、もう一方のカメラにより補間を行い、最後にスケール問題を解決。右図のように交互にアクティブなカメラを切り替えて探索を行う。

新規性・結果・なぜ通ったか？

Low-latencyなステレオのカメラを交互に切り替えて慣性ナビゲーションを行うalternating-stereo VINSを提案する。実際にシステムを構築して実験を行なったことも評価されている。

リンク集

• 論文

概要

ふたつのネットワークの協調学習であるCoupled End-to-End Transfer Learning（CETL）を提案、デコーダのパラメータを共有して対象ドメインに関してデータが少ないという転移学習の問題を改善する。さらに同ネットワークを最適化させるための誤差関数であるCoupledLossを提案した。ドメイン変換や知識蒸留でも使えることを示した。

新規性・結果・なぜ通ったか？

転移学習の問題（事前学習には膨大なデータがあるが、対象データが少量）を解決するためのCETLを提案した。汎用フィッシャー情報を提案して複数タスクにおける最適化を実行した。

リンク集

• 論文

概要

ハッシングに関するランキングを直接最適化、Average Precision（AP）やNormalized Discounted Cumulative Gain（NDCG）などにより評価できる手法について提案する。Intによるハミング距離をランキングし、AP/NDCGにより評価、勾配を最適化することによりCNNを学習する。ハミング距離による画像検索において新しいベースラインを作ることに成功した。

新規性・結果・なぜ通ったか？

ハッシングによる最適化について、評価指標をダイレクトに誤差に用いることができるTie-aware Learningを提案し、画像検索問題に応用した。CIFAR-10,NUS-WIDE,LabelMe,ImageNet100において新しいベースラインを作った。

コメント・リンク集

ハッシング、意外と根強く残っているし論文も通っているのでもっと目立っても良い？

• 論文
• Learning to Hash
• GitHub

概要

CVのアルゴリズムはカメラモーションやシーンにおける3次元構造など幾何的なロバスト推定を要することが多く、RANSACに頼ることも多い。本論文では単項式の選択により高速な多項式計算を実装するための方法について検討する。Grobner基底を利用することにより、効率的な計算を実現する。

新規性・結果・なぜ通ったか？

Grobner基底によりロバスト推定を高速化する方法について提案することに成功。単項式によるサンプリングについてヒューリスティックな方法を実現。幾何推定やカメラ校正問題についてState-of-the-artな方法を高速に実装。

コメント・リンク集

Grobner（oにウムラウト）という単語があり、CVFのオープンアクセスにリンクできなかった。

• 論文

概要

CNNによりロバスト性を与えるための学習手法Convolutional Prototype Learning（CPL）を提案する。識別器が騙されるということが少なくなり、識別問題に対して有効である。複数カテゴリに対して条件を与えること、PrototypeLoss（PL）による正則化を与えることでクラス内のコンパクト性を高めた。

新規性・結果・なぜ通ったか？

識別のロバスト性を高めるCPLを提案した。CPLではカテゴリを識別するだけでなく、アウトライア除去と新しいカテゴリを追加する機構が備わっている。MNIST/CIFARにて分離性の高い特徴を生成することができた。

コメント・リンク集

自動カテゴリ追加、もっとできるようになって欲しい！

• 論文

概要

Multi-task Learning（MTL; 多タスク学習）について、例えばCNNとGaussian ProcessといったHeterogeneousな学習や推定を同時に行う新しい方法を提案する。タスクに依存しないランダムパラメータを求めることができるため、あらかじめタスクごとの知識を前提としないMTLを実現可能である。実空間における回帰やランキングの問題において良好な精度を実現可能である。

新規性・結果・なぜ通ったか？

異なるタスク間（CNNとGaussian Processなど）において事前情報を前提としない学習法を提案した。各種データセットにおいて良好な精度を実現した。（表に示す通りであり、大体においてベースラインよりも精度が高い）

コメント・リンク集

モデル自体も異なる多タスク学習。あまり見ないがそんなこともできるのか、という印象。

• 論文

概要

グラフベースのクラスタリングに関して、Micro-averageを用いたコスト関数micro average association（micro-AA）を提案。グラフベースのクラスタリングはSpectral Clusteringが従来法の代表例であり互いに素な分類が望ましいが、所望のクラスタより小さな集合を形成してしまい望ましくない。本論文では初期値にも依存しない局所的最適化解を求めることができる。Direct Local Optimization（DLO）により、近似を行うことなく全体最適化を行う。DLOでは初期値に依存するが、Initial-guess-free algorithmを用いることにより解決。

新規性・結果・なぜ通ったか？

グラフベースのクラスタリングについて、micro-AAを提案、さらに全体最適化する方法や局所最適解に陥らないような最適化テクニックについても紹介したことが大きな貢献である。COIL20 datasetにて100%のクラスタリングを実現するなど、良好な精度を実現することに成功した。

コメント・リンク集

発想が面白く、最適化のテクニックも多数紹介されているので有益。

• 論文
• 相澤・山崎研

概要

スパースな3次元点群データから道路面（レーン検出レベルで）構造を把握するためのHierarchical Recurrent Attention Networkを提案する。また、3次元点群処理において推定したエッジと正解値の微分可能な誤差関数Polyline Lossも提案する。高速道路にて90km/hで移動する車両から92%の確率でレーン検出を可能にした。右図は提案手法であるHierarchical Recurrent Attention Networkの構造を示したものである。基本的には対称のスキップコネクションを含むEncoder-Decoder方式であるが、Encoderの各層からRecurrent Countingを行う層を追加、Decoderとの整合性をとることで精度を高める。

新規性・結果・なぜ通ったか？

高速道路を想定した環境でも3次元点群処理を高精度に実行するネットワークHierarchical Recurrent Attention Networkを提案した。入力である点群処理からレーン検出を行うことができる。さらに誤差関数PolylineLossを提案することで点群からの推定値と正解値との誤差を計算することができネットワークを学習可能とした。

コメント・リンク集

高速道路のデータは意外と少なかった？高速に移動する車両からの物体検出やセグメンテーションが現状どの程度できているか疑問である。

• 論文
• Uber at CVPR

概要

Product Quantization（PQ; 直積量子化）は与えられたデータを低次元に分解できるため、高次元のエンコーディングに対して有効である。本論文ではPQの直交（orthogonal）時について解析するとともに、Spectral Decompositionについても関係性を調べる。本論文の解析によりスペクトル解析に関する知見が得られることや、計算コストについても言及できる。本論文で提案する定式化により、よりシンプルで効率化されたdecomposition手法を与えることができる。

新規性・結果・なぜ通ったか？

PQの課題においてスペクトル解析と関連することを示した（+定式化）ことが最大の貢献である。各種データセット（Sift25K/1M,Mnist,Cifar,VladLong）にて従来法よりも良好な精度を実現するとともに、効率的な計算ができることも示した。

コメント・リンク集

本論文では理論的な解法を与えたことが評価された点である。検索問題を考えるとPQは面白そうである。

• 論文
• 直積量子化サーベイ

概要

スーパーピクセル（Superpixels）において多角形形状にて画像領域を近似する問題を取り扱う。従来手法（例えばボロノイマップ）では細い形状にて多角形性を失いがちであるが、本論文では克服することに成功し、サイズや形状によらず柔軟な推定が可能である。事前情報として直線のセグメントを計算しておくことで精度が向上することが明らかとなった。実験ではより少ない多角形で幾何学的な特徴を捉えることに成功した。

新規性・結果・なぜ通ったか？

画像のスーパーピクセル近似にて、多角形により効率化された計算を可能にした。事前情報として直線検出と組み合わせることにより画像中の情報をよりよく捉えることができる。

コメント・リンク集

特に人工物における形状を効果的に捉えることができる？

• 論文

概要

自然の中に存在するカーブ（Natural Curves）を想定、認識することで欠損やオクルージョン環境下の補完/インペインティングを実行。与えられた画像中の物体から2つのエンドポイント（End Point）とタンジェント角度（Tangent Orientation）をラベルづけ、推定したカーブの平均値により補完を実行する。

新規性・結果・なぜ通ったか？

自然のカーブを想定することでオクルージョンや欠損を含んでいたとしても補完をやりやすくした。基本的には2点のエンドポイントをタンジェント角で繋ぐことでカーブを認識し、背景には様々な角度表現やデータを配置している。

リンク集

• 論文

�T�v

��K���̐M�����f�����O�́A�摜�����A�v���P�[�V�����ɂ������Ǐ����ւ�L���v�`���[���邽�߂ɍL�����p����Ă����B�O���[�v�����ꂽ�摜�p�b�`�ɂ���Đ������ꂽ�������z��ɑ΂��Ē�K���̑������z����q���͂�p����V������@���Ă���D��K���������z��́A�摜�č\�z���ɉ��P���邽�߂ɁC��֕�����Z�@(ADMM)�ɑ�����D����A�v���P�[�V�����͈��k�Z���V���O�iCS�j�ł���C�[����ݍ��݃A�[�L�e�N�`�����̗p����CCS�A�v���P�[�V�����ɂ����鍂���ȃ}�g���b�N�X���]��ߎ�����DNLR-TFA�ƌĂ΂�邱�̒�K���������z��̈�������@�Ɋ�Â������A���S���Y�����ڂ����������D�m�C�Y�̂Ȃ���̂ƃm�C�Y�̂���CS����̎������ʂ́A���ɒ�CS�T���v�����O���[�g�ł̒�Ď�@�̗D�ʐ���ؖ�����D

�V�K���E���ʁE�Ȃ��ʂ������H

�p�b�`�O���[�v���Ɋ�Â��Đ���摜���瑽�����z��𐶐�����D���ɑ������z��𕪉��ɑ������z����K���ɐݒ肷��D ���̐V������K���������z��́CADMM�ɂ���ĉ�����O���[�o���ȖړI�֐��ɑ�����D ������2�‚̃X�e�b�v�́C���炩�̊�𖞂����܂ŌJ��Ԃ����s�����D

�R�����g�E�����N�W

• URL

概要

本稿では、双方向検索モデルを学習するための非常に簡単で効果的な文字レベルのアーキテクチャを示す．マルチモーダルコンテンツを整列させることは、画像と記述との間の意味的対応を見つけることの難易度を考慮すると特に挑戦的である．そこで実際の文字を明確な粒度レベルで畳み込むことによって、テキストセマンティック埋め込みを学ぶために設計された効率的な文字レベルのソースモジュールを示す．私たちのアプローチで生成されたモデルは、単語埋め込みに基づく最先端の戦略よりもはるかに入力ノイズに対して堅牢である． 概念的にもかかわらずはるかに単純であり，より少ないパラメータしか必要としない．テキスト分類，特に多言語およびノイズが多い分野での堅実なパフォーマンスを示す．

新規性・結果・なぜ通ったか？

CHAIN-VSEという生の文字に基づいてテキスト埋め込みを学習できる双方向検索のためのシンプルなアーキテクチャによって，概念的には関連研究よりもはるかに単純なアーキテクチャであってもMS COCOなどを考慮して，テキストからイメージへとテキストからテキストへの両方で最先端の結果が得られる．

コメント・リンク集

• URL

概要

3値や2値などの非常に低ビットのパラメータ値を持つDNNモデルを顕著な損失なく32ビットの浮動小数点数に近似させる新しい方法であるELLS(Explicit Loss-Error-Aware Quantization)を提案

新規性・結果・なぜ通ったか？

Imagenetでの実験では量子化を行ったことによる精度の低下の少なさでstate-of-the-art

コメント・リンク集

• 論文

概要

熱画像における経時変化の光伝送分解手法を提案．熱の伝播の速さは光よりも非常に遅く，遠赤外光の過渡遷移がサーマルカメラで観測可能である．

• MILにおいてインスタンスだけでなく画像全体も合わせて単一のベクトルで特徴表現するための手法を提案
• それを実現するための目的関数と最適化方法の部分で理論的に新規性がありそう?

• 論文
• 非Deep論文で，関連研究とか比較手法としてすらDeepの話が一単語も出てこないのすごい．
• 特徴表現を提案している論文っぽく見えるのに，実験の比較はSVMなど識別器と比較しているのがちょっとよくわからない．
• Non-greedy Ratio Maximization of the L1-norm Distancesという論文の肝っぽいところもよくわかってない...

概要

3D shapeを学習する際にposeに独立なgeometryの潜在変数空間を学習するネットワークであるquotient autoencoder(QAE)を提案。通常のAEに加えて、orbit poolingとquotient lossという2つのアイディアを追加した。orbit poolingでは、入力された3D shapeに対して様々な回転を与えそれらから得られる潜在変数のうち、各成分の最大値をその3D shapeを表現する潜在変数とする。quotient lossでは、リコンストラクションされた3D shapeと参照3D shapeの距離の下限をロスとして採用する。この2つの方法によってposeに不変な潜在変数空間を構築する。

新規性・結果・なぜ通ったか？

• ShapeNet datasetを用いてデータオーギュメンテーションを行なった通常のVAEと比較。
• リコンストラクションした際のdepth map、ボクセルの誤差においてもっとも高い精度を達成。
• 一度QAEを学習すれば、同一3D shapeに対して任意の回転を与えた出力を行うことが可能。
• orbit pooling においてRBFを用いた非剛体変形を学習させることも可能。

コメント・リンク集

• 3D shapeに特化したモデル構築ではなく一般的な枠組みなので、他のデータ入力にも対応可能だと考えられる。
• 論文
• Supplementary material

概要

本稿では，かすんでいる画像から鮮明な画像を復元する手法を提案する。既存の手法では伝送マップおよび大気光を推定するために，例えば暗いチャネル，色の視差，最大のコントラストといった手作りの特徴を使用することが多い。本稿ではこの問題を条件付き生成的対立ネットワーク（cGAN）に基づいて解決する。ここで，鮮明な画像は，end-to-endの訓練可能なニューラルネットワークによって推定される。基本的なcGANの生成ネットワークとは異なり，本稿ではより良​​い結果を生み出すことができるように，エンコーダとデコーダのアーキテクチャを提案する。

新規性・結果・なぜ通ったか？

・条件付きGANを用いることにより，かすんでいる画像から鮮明な画像の生成を実現している。・鮮明な画像を生成するためにVGGフィーチャとL1正規化勾配を事前に導入することによって，基本のcGANフォーメーションをさらに修正している。

コメント・リンク集

• link

概要

本稿では高次元のデータと畳み込みニューラルネットワーク分類機を用いたアクティブ学習から最近提案されたいくつかの手法の検討をする．モンテカルロドロップアウト手法と幾何学手法に対してアンサンブルベースと比較する． MNISTとCIFAR-10の結果を示し，約12,200個のラベル付き画像で90％のテストセット精度を達成し，ImageNetで初期結果を得た．

新規性・結果・なぜ通ったか？

アンサンブルベースの不確かさは，他の不確かさ推定方法（特にMCドロップアウト）よりも一貫して優れていることを示し，MNISTとCIFAR-10の最先端のactivity learningパフォーマンスにつながる．

コメント・リンク集

• URL

概要

凸緩和を介して複数の幾何モデルを複数の構造データにフィッティングするための新しい方法を提案．COnvex Relaxation Algorithm（CORAL）を用いて多次元データを適合させ、セグメント化するための新しい最適化を行う．復ごとに同等のアーキテクチャで2桁の速さで最小化されるため、より多くの幾何学的マルチモデルフィッティング問題にリアルタイムで堅牢なパフォーマンスを得た．

新規性・結果・なぜ通ったか？

• COnvex Relaxation Algorithm（CORAL）は幾何学的マルチモデルフィッティングのための最適最小化アルゴリズム
• ラベルに対するポイントごとの評価を同時に処理することにより、本質的にランタイムパフォーマンスを向上

コメント・リンク集

• Paper

概要

既存のテキストの認識手法は，検出と認識を別のタスクとして扱う物が多い，しかし，本研究では，同時に検出と認識をするためのend-to-endで学習可能なFast Oriented Text Spotting（FOTS）を提案する．ICDAR 2015、ICDAR 2017 MLT、およびICDAR 2013を用いた文字の検出，識別の評価実験では既存の手法と比較してSoTAであった．

新規性・結果・なぜ通ったか？

• フレームワークをend-to-endとし，畳み込んだ特徴を共有することで，わずかな計算オーバーヘッドで同時にテキストを検出，認識することができ速度が向上．
• 畳み込んだ特徴マップから方向付けられたテキスト領域を抽出するためのRoIRotateを導入し，検出と識別の工程を結合．

コメント・リンク集

• YouTubeを見てみたが検出・識別する速度が早い！
• Paper
• YouTube

概要

一組のイメージカーブを用いて，3D直線に対応するという知識に基づき単一画像内のRS歪みを補正するロバストな方法を提案．一様な運動モデル下で移動するローリングシャッターカメラによって出現する3D直線の投影のためのパラメトリック方程式を定式化し，少なくとも4つのイメージカーブを用いて，姿勢パラメータとは別にカメラの角速度を効率的に推定する方法を提案．さらに，3D直線に対応するイメージカーブを選択し，3次元での実際のイメージカーブを選択するRANSACのような戦略を提案．

新規性・結果・なぜ通ったか？

・　合成データと実データの両方を用いた比較実験によりstate-of-the-art．

コメント・リンク集

• 論文

概要

高次のMRF(Markov Random Field)によるトランスダクティブ推論のための新しいアルゴリズムの提案．MRFでは単項式のエネルギーは可変分類器によってパラメータ化され，連続的な分類子のパラメータと離散的な変数の共同最適化問題として提起される．問題解決のために，凸緩和などの従来手法と対照的にADMM(Alternating Direction Method of Multipliers)での効率的な最適化手法として関連目的関数を離散的かつ連続的な問題に切り離すことを提案．離散変数の完全性を保ち，臨界点への大域収束性を保証している.

新規性・結果・なぜ通ったか？

・　MAPの推論問題の準最適解を得ることができ，計算上より困難なMRFを考慮することが可能．・　k-meansと対照的に深層特徴と統合される ・　従来手法より一貫した結果となり，ランタイム，メモリ消費について効率的．

コメント・リンク集

• 論文

概要

画像歪みに対するCNNの頑健性を改善する研究．特徴分布の高いモーメント統計は画像の歪みによってシフトする可能性があり，性能低下につながる．この効果を低減するために，特徴量の量子化によるアプローチを提案．1)スケーラブルな分解能を持つ床関数，2)学習可能な指数を持つ累乗関数，3)データ依存指数を用いた累乗関数の3種類の非線形関数をCNNに採用．

新規性・結果・なぜ通ったか？

・　提案手法を用いたResNet-50でモーションブラー，ごま塩ノイズ，それらの複合の歪みで歪んだ画像を用いたILSVRC-12分類タスクでそれぞれ6.95%，5.26%，5.61%の精度向上．

コメント・リンク集

• 論文

概要

多視点での車両の再識別問題を解決するために，視覚情報のみを用いたViewpoint-aware Attentive Multi-view Inference(VAMI)モデルを提案．VAMIは，任意の視点の車両画像を与えると，入力画像毎に単一視点の特徴を抽出し，その特徴を可変多視点の特徴表現に変換する．また，異なる視点で重要となるコア領域を選択し，敵対的学習で効果的なマルチビューの特徴推論を実装するため，視覚的なアテンションモデルを採用．

新規性・結果・なぜ通ったか？

VeRiとVehicleIDの2つのデータセットでの車両の再識別についてstate-of-the-artよりも改善．

コメント・リンク集

• 論文

概要

MOVIE graphsという新しいデータセットの提案．映画のクリップ中の社会的状況のグラフベースのアノテーションを詳細に行ったデータセットであり，各グラフは現在誰が写っているのか，感情や体格はどうか，複数人写っている場合の関係は，それらの間のインタラクションはといったさまざまなノードで構成されている．また，データセットの徹底的な分析を行い，時間経過とともにシーンの異なる社会的側面の興味深い常識的な相関関係を示す．グラフを用いてビデオとテキストを照会する方法として１）私たちのグラフは各場面をまとめて複数の意味的に関連する状況を取り出す方法，順序付けと理由の理解を通してインタラクションの理解のための方法を提案．

新規性・結果・なぜ通ったか？

・　人間中心の状況の推論された特性に焦点を当てた最初のベンチマークである．・　各クリップには，シチュエーションラベル，シーンラベル，および支援言語の説明がアノテーションされおり，視覚的かつ時間的に接地されている．グラフのキャラクターはクリップの中の顔のトラックに関連付けられ，ほとんどのインタラクションは発生する時間間隔に関連付けられる．

コメント・リンク集

• 論文
• Project Page

概要

• 新たな画像からPart stateをピクセルレベルで予測するタスク及び手法を提案した．(例:車のドアを入力画像から検出し，状態はopened)
• 著者達が物体パーツのセマンティックスペースを離散的なpart stateによりtokenizeし，各々のオブジェクトパートが一組のstateと関連する．推定段階ではピクセルレベルで物体パーツを検出し，stateをphraseにより出力する．また，提案タスクに用いられる新たなデータセットを構築した(画像はPASCAL VOC2010を用いた)．
• RGB-S(入力画像と推定したパーツセグメンテーション画像)からinteractiveでparts stateの予測を精密化するネットワークを提案した．

新規性・結果・なぜ通ったか？

• 新たなpart stateデータセットを提案．
• 提案手法をオブジェクトrelationship推定タスクにも用いられる．また，実験により提案手法が有効的にセマンティックパーツstatesを予測できる．

コメント・リンク集

• 従来のパーツセグメンテーションより一層理解のレベルが高い．また，提案のパーツstates推定が様々なほかのタスクに用いられる．
• VQA, Image captioningなどの画像理解部として用いられそう
• 論文

概要

• 大規模室内画像の6Dカメラ姿勢推定の手法InLocを提案した．提案手法がquery画像と大規模室内3次元マップからquery画像のカメラ姿勢推定を行う．大規模室内における新たな視覚的位置推定手法を提案した．具体的には：①大規模環境から候補姿勢を推定する②dense matchingを用いたテクスチャーレスシーンにも用いられる姿勢推定を行う．③視点合成をベースとした姿勢検証を行い，視点，シーンレイアウト，遮蔽にロバストに対応できるようにした．
• 大規模室内環境の画像の6Dカメラ姿勢推定用データセットを提案した．提案データセットのquery画像が手持ち携帯カメラにより異なる時間帯で収集され，ロバストアルゴリズムに用いられる．

新規性・結果・なぜ通ったか？

• 初めてのdense data associationを用いた室内環境位置推定手法であると指摘した．
• 提案したデータセットにおいて，従来手法より大幅に精度向上を実現した．

コメント・リンク集

• 室内の画像6D姿勢推定はかなり挑戦的なタスクのように思う．
• 論文

概要

• 大規模3D synchronizedマルチビデオからヒューマンインタラクションのdense semantic trajectory streamを再構成する手法の提案．
• マルチビデオからヒューマンインタラクションの軌跡を推定するにあたり，自己遮蔽，2Dノイズ，軌跡がfragmentedであるなどの問題点がある．著者達は，多視点の中により確信度が高い視点が存在するとして，そのような視点を導くための軌跡のセマンティックラベルの概率分布図3D semantic mapを提案した． 3D semantic mapは可視性および2D認識の確信度をベースとしたview poolingにより生成できる．また，密な軌跡が得られる場合，同じ物体の軌跡を局所剛体変換により表示できることから， 3D semantic map から局所剛体変換を推定することにより長距離軌跡に対応できる軌跡ラベル推定を行う．

新規性・結果・なぜ通ったか？

• リアル環境でオブジェクト，シーンまたは人などとインタラクションする人のセマンティック軌跡推定実験を行い，定性的結果により提案手法が①推定の正しさ②ロバスト性③長距離での有効性などの面においてベースライン手法より良い表現を達成した．

コメント・リンク集

• 人をVR環境に再生することに用いられそう
• 論文

概要

• PointCloudデータをCNNにより直接取り扱う新たなネットワークSCN(Shape Context Net)を提案した．クラシックなshape contextを階層的なCNNと組み合わせることをベースとした．
• 提案手法は従来のshape contextをCNN Building Blockにした．このblockを積み重ねることにより，局所からグローバル特徴を表せる．Shape Context Blockは具体的には，selection，aggregation，transformationから構成される．① selection：coarseグループとなる局所ポイントを選択する．②aggregation：相対位置の分布を捉えられるrobust descriptorを構築③transformation：異なる領域のポイントグループのdescriptorsを高次な特徴空間に射影する．

新規性・結果・なぜ通ったか？

• 提案のShape context blockをCNNより取り扱えるほか，hand designedな特徴量も適応できる．
• 提案のshape context blockをベースとしたpointcloud分類，セマンティックセグメンテーションネットワークはshapenet，modelnet40などのデータセットにおいてSoTAなパフォーマンスを達成した．

コメント・リンク集

• PointNetと類似し，PointNet++より簡潔な構造を持っている．
• 論文

概要

• Cross-modal, cross-levelな特徴を融合するEnd-to-EndなRGB-D salient物体検出ネットワークを提案した．
• 従来のRGB-Dデータを取り扱うネットワークは直接RGB，Dの特徴を連結するか，深い層の特徴だけ融合する事が多い．著者達は①もっと明示的にcross modalのcomplementary part をモデリングするべき②全部のレベルでcomplementを探索するべきの2つのところから，complementarity awareなネットワーク(CA Fuse)を提案し，CNNの層ごとにcross modalの特徴を結合する． CA Fuseに浅いから深い層までlevel-wiseに教師信号により，cross-levelなcomplementがより良く組み合わせられると指摘した．

新規性・結果・なぜ通ったか？

• 提案手法がcross modal, cross levelでRGBとDの情報を結合することにより，より有効的にRGBとDを融合できる．
• NLPR, NJUD, STEREOデータセットにおいてSoTAなsalient物体検出パフォーマンスを得られた．

コメント・リンク集

• RGBとDをいかに融合した方が良いのかを紹介しているので，一度実装してみたい
• 論文

概要

• DNNにおける全結合層と畳み込み層の両方のパラメータを圧縮するTensor Ring Networks (TR-Nets)を提案した．
• 実験によりTR-NetsはLeNet-5を精度の劣化なしに1/11に圧縮できることを示し，Cifar10の画像分類タスクにおいてWide ResNetを2.3%の劣化で1/243に圧縮できることを示した．

新規性・結果・なぜ通ったか？

• 既存の手法では主に全結合層のパラメータの圧縮に着目していたが，本研究では層の深いニューラルネットワークにおける全結合層と畳み込み層の多次元のテンソルパラメータを圧縮する手法を提案した．

コメント・リンク集

• 論文

概要

• 長年にわたって収集した異常や病変のアノテーションを施した放射線画像は基本的にソートされておらず、タイプや位置情報などの意味的なアノテーションがされていない．そこでこの研究では各病気の特徴を学習し，それらを整理，探索することで，重要な放射線画像を含む大規模なデータセットDeepLesionを提案した．

新規性・結果・なぜ通ったか？

• PACSから収集した新たな病変データセットとして，32Kを超える画像枚数と病変のバウンディングボックスとサイズを含むDeepLesionを提案した．
• CT画像内で検出された病変間の関係を効果的に検出，整理，学習する手法を開発した．

コメント・リンク集

• 論文

概要

近似的最近傍探索法（Approximated Nearest Neighbor; ANN）をベースにした直積量子化（Product Quantization; PQ）手法を提案する。粗な量子化、直積量子化、回転行列、コードブック計算に量子化法を用い、OpenCL-FPGAを使用したIntel HARPv2プラットフォームにより実装する。

新規性・結果・なぜ通ったか？

大規模かつ高次元のANNにおいて、FPGAによりCPU/GPUのパフォーマンスを越えることに成功した最初の例である。YFCC100M/BigANN/Deep1Bにおいて検証を行なった。

リンク集

• 論文

概要

ビジョンベースの慣性ナビゲーションシステム（Vision-aided Inertial Navigation Systems; VINS）に関して、低コストなステレオビジョンを提案する。通常は２カメラを用いるが、計算的なコストやレイテンシが問題になってしまう。Left-Rightカメラの代替として、片方のカメラのみでカメラ姿勢を推定、もう一方のカメラにより補間を行い、最後にスケール問題を解決。右図のように交互にアクティブなカメラを切り替えて探索を行う。

新規性・結果・なぜ通ったか？

Low-latencyなステレオのカメラを交互に切り替えて慣性ナビゲーションを行うalternating-stereo VINSを提案する。実際にシステムを構築して実験を行なったことも評価されている。

リンク集

• 論文

概要

ふたつのネットワークの協調学習であるCoupled End-to-End Transfer Learning（CETL）を提案、デコーダのパラメータを共有して対象ドメインに関してデータが少ないという転移学習の問題を改善する。さらに同ネットワークを最適化させるための誤差関数であるCoupledLossを提案した。ドメイン変換や知識蒸留でも使えることを示した。

新規性・結果・なぜ通ったか？

転移学習の問題（事前学習には膨大なデータがあるが、対象データが少量）を解決するためのCETLを提案した。汎用フィッシャー情報を提案して複数タスクにおける最適化を実行した。

リンク集

• 論文

概要

ハッシングに関するランキングを直接最適化、Average Precision（AP）やNormalized Discounted Cumulative Gain（NDCG）などにより評価できる手法について提案する。Intによるハミング距離をランキングし、AP/NDCGにより評価、勾配を最適化することによりCNNを学習する。ハミング距離による画像検索において新しいベースラインを作ることに成功した。

新規性・結果・なぜ通ったか？

ハッシングによる最適化について、評価指標をダイレクトに誤差に用いることができるTie-aware Learningを提案し、画像検索問題に応用した。CIFAR-10,NUS-WIDE,LabelMe,ImageNet100において新しいベースラインを作った。

コメント・リンク集

ハッシング、意外と根強く残っているし論文も通っているのでもっと目立っても良い？

• 論文
• Learning to Hash
• GitHub

概要

CVのアルゴリズムはカメラモーションやシーンにおける3次元構造など幾何的なロバスト推定を要することが多く、RANSACに頼ることも多い。本論文では単項式の選択により高速な多項式計算を実装するための方法について検討する。Grobner基底を利用することにより、効率的な計算を実現する。

新規性・結果・なぜ通ったか？

Grobner基底によりロバスト推定を高速化する方法について提案することに成功。単項式によるサンプリングについてヒューリスティックな方法を実現。幾何推定やカメラ校正問題についてState-of-the-artな方法を高速に実装。

コメント・リンク集

Grobner（oにウムラウト）という単語があり、CVFのオープンアクセスにリンクできなかった。

• 論文

概要

CNNによりロバスト性を与えるための学習手法Convolutional Prototype Learning（CPL）を提案する。識別器が騙されるということが少なくなり、識別問題に対して有効である。複数カテゴリに対して条件を与えること、PrototypeLoss（PL）による正則化を与えることでクラス内のコンパクト性を高めた。

新規性・結果・なぜ通ったか？

識別のロバスト性を高めるCPLを提案した。CPLではカテゴリを識別するだけでなく、アウトライア除去と新しいカテゴリを追加する機構が備わっている。MNIST/CIFARにて分離性の高い特徴を生成することができた。

コメント・リンク集

自動カテゴリ追加、もっとできるようになって欲しい！

• 論文

概要

Multi-task Learning（MTL; 多タスク学習）について、例えばCNNとGaussian ProcessといったHeterogeneousな学習や推定を同時に行う新しい方法を提案する。タスクに依存しないランダムパラメータを求めることができるため、あらかじめタスクごとの知識を前提としないMTLを実現可能である。実空間における回帰やランキングの問題において良好な精度を実現可能である。

新規性・結果・なぜ通ったか？

異なるタスク間（CNNとGaussian Processなど）において事前情報を前提としない学習法を提案した。各種データセットにおいて良好な精度を実現した。（表に示す通りであり、大体においてベースラインよりも精度が高い）

コメント・リンク集

モデル自体も異なる多タスク学習。あまり見ないがそんなこともできるのか、という印象。

• 論文

概要

グラフベースのクラスタリングに関して、Micro-averageを用いたコスト関数micro average association（micro-AA）を提案。グラフベースのクラスタリングはSpectral Clusteringが従来法の代表例であり互いに素な分類が望ましいが、所望のクラスタより小さな集合を形成してしまい望ましくない。本論文では初期値にも依存しない局所的最適化解を求めることができる。Direct Local Optimization（DLO）により、近似を行うことなく全体最適化を行う。DLOでは初期値に依存するが、Initial-guess-free algorithmを用いることにより解決。

新規性・結果・なぜ通ったか？

グラフベースのクラスタリングについて、micro-AAを提案、さらに全体最適化する方法や局所最適解に陥らないような最適化テクニックについても紹介したことが大きな貢献である。COIL20 datasetにて100%のクラスタリングを実現するなど、良好な精度を実現することに成功した。

コメント・リンク集

発想が面白く、最適化のテクニックも多数紹介されているので有益。

• 論文
• 相澤・山崎研

概要

スパースな3次元点群データから道路面（レーン検出レベルで）構造を把握するためのHierarchical Recurrent Attention Networkを提案する。また、3次元点群処理において推定したエッジと正解値の微分可能な誤差関数Polyline Lossも提案する。高速道路にて90km/hで移動する車両から92%の確率でレーン検出を可能にした。右図は提案手法であるHierarchical Recurrent Attention Networkの構造を示したものである。基本的には対称のスキップコネクションを含むEncoder-Decoder方式であるが、Encoderの各層からRecurrent Countingを行う層を追加、Decoderとの整合性をとることで精度を高める。

新規性・結果・なぜ通ったか？

高速道路を想定した環境でも3次元点群処理を高精度に実行するネットワークHierarchical Recurrent Attention Networkを提案した。入力である点群処理からレーン検出を行うことができる。さらに誤差関数PolylineLossを提案することで点群からの推定値と正解値との誤差を計算することができネットワークを学習可能とした。

コメント・リンク集

高速道路のデータは意外と少なかった？高速に移動する車両からの物体検出やセグメンテーションが現状どの程度できているか疑問である。

• 論文
• Uber at CVPR

概要

Product Quantization（PQ; 直積量子化）は与えられたデータを低次元に分解できるため、高次元のエンコーディングに対して有効である。本論文ではPQの直交（orthogonal）時について解析するとともに、Spectral Decompositionについても関係性を調べる。本論文の解析によりスペクトル解析に関する知見が得られることや、計算コストについても言及できる。本論文で提案する定式化により、よりシンプルで効率化されたdecomposition手法を与えることができる。

新規性・結果・なぜ通ったか？

PQの課題においてスペクトル解析と関連することを示した（+定式化）ことが最大の貢献である。各種データセット（Sift25K/1M,Mnist,Cifar,VladLong）にて従来法よりも良好な精度を実現するとともに、効率的な計算ができることも示した。

コメント・リンク集

本論文では理論的な解法を与えたことが評価された点である。検索問題を考えるとPQは面白そうである。

• 論文
• 直積量子化サーベイ

概要

スーパーピクセル（Superpixels）において多角形形状にて画像領域を近似する問題を取り扱う。従来手法（例えばボロノイマップ）では細い形状にて多角形性を失いがちであるが、本論文では克服することに成功し、サイズや形状によらず柔軟な推定が可能である。事前情報として直線のセグメントを計算しておくことで精度が向上することが明らかとなった。実験ではより少ない多角形で幾何学的な特徴を捉えることに成功した。

新規性・結果・なぜ通ったか？

画像のスーパーピクセル近似にて、多角形により効率化された計算を可能にした。事前情報として直線検出と組み合わせることにより画像中の情報をよりよく捉えることができる。

コメント・リンク集

特に人工物における形状を効果的に捉えることができる？

• 論文

概要

自然の中に存在するカーブ（Natural Curves）を想定、認識することで欠損やオクルージョン環境下の補完/インペインティングを実行。与えられた画像中の物体から2つのエンドポイント（End Point）とタンジェント角度（Tangent Orientation）をラベルづけ、推定したカーブの平均値により補完を実行する。

新規性・結果・なぜ通ったか？

自然のカーブを想定することでオクルージョンや欠損を含んでいたとしても補完をやりやすくした。基本的には2点のエンドポイントをタンジェント角で繋ぐことでカーブを認識し、背景には様々な角度表現やデータを配置している。

リンク集

• 論文

�T�v

��K���̐M�����f�����O�́A�摜�����A�v���P�[�V�����ɂ������Ǐ����ւ�L���v�`���[���邽�߂ɍL�����p����Ă����B�O���[�v�����ꂽ�摜�p�b�`�ɂ���Đ������ꂽ�������z��ɑ΂��Ē�K���̑������z����q���͂�p����V������@���Ă���D��K���������z��́A�摜�č\�z���ɉ��P���邽�߂ɁC��֕�����Z�@(ADMM)�ɑ�����D����A�v���P�[�V�����͈��k�Z���V���O�iCS�j�ł���C�[����ݍ��݃A�[�L�e�N�`�����̗p����CCS�A�v���P�[�V�����ɂ����鍂���ȃ}�g���b�N�X���]��ߎ�����DNLR-TFA�ƌĂ΂�邱�̒�K���������z��̈�������@�Ɋ�Â������A���S���Y�����ڂ����������D�m�C�Y�̂Ȃ���̂ƃm�C�Y�̂���CS����̎������ʂ́A���ɒ�CS�T���v�����O���[�g�ł̒�Ď�@�̗D�ʐ���ؖ�����D

�V�K���E���ʁE�Ȃ��ʂ������H

�p�b�`�O���[�v���Ɋ�Â��Đ���摜���瑽�����z��𐶐�����D���ɑ������z��𕪉��ɑ������z����K���ɐݒ肷��D ���̐V������K���������z��́CADMM�ɂ���ĉ�����O���[�o���ȖړI�֐��ɑ�����D ������2�‚̃X�e�b�v�́C���炩�̊�𖞂����܂ŌJ��Ԃ����s�����D

�R�����g�E�����N�W

• URL

概要

本稿では、双方向検索モデルを学習するための非常に簡単で効果的な文字レベルのアーキテクチャを示す．マルチモーダルコンテンツを整列させることは、画像と記述との間の意味的対応を見つけることの難易度を考慮すると特に挑戦的である．そこで実際の文字を明確な粒度レベルで畳み込むことによって、テキストセマンティック埋め込みを学ぶために設計された効率的な文字レベルのソースモジュールを示す．私たちのアプローチで生成されたモデルは、単語埋め込みに基づく最先端の戦略よりもはるかに入力ノイズに対して堅牢である． 概念的にもかかわらずはるかに単純であり，より少ないパラメータしか必要としない．テキスト分類，特に多言語およびノイズが多い分野での堅実なパフォーマンスを示す．

新規性・結果・なぜ通ったか？

CHAIN-VSEという生の文字に基づいてテキスト埋め込みを学習できる双方向検索のためのシンプルなアーキテクチャによって，概念的には関連研究よりもはるかに単純なアーキテクチャであってもMS COCOなどを考慮して，テキストからイメージへとテキストからテキストへの両方で最先端の結果が得られる．

コメント・リンク集

• URL

概要

3値や2値などの非常に低ビットのパラメータ値を持つDNNモデルを顕著な損失なく32ビットの浮動小数点数に近似させる新しい方法であるELLS(Explicit Loss-Error-Aware Quantization)を提案

新規性・結果・なぜ通ったか？

Imagenetでの実験では量子化を行ったことによる精度の低下の少なさでstate-of-the-art

コメント・リンク集

• 論文

概要

熱画像における経時変化の光伝送分解手法を提案．熱の伝播の速さは光よりも非常に遅く，遠赤外光の過渡遷移がサーマルカメラで観測可能である．

• MILにおいてインスタンスだけでなく画像全体も合わせて単一のベクトルで特徴表現するための手法を提案
• それを実現するための目的関数と最適化方法の部分で理論的に新規性がありそう?

• 論文
• 非Deep論文で，関連研究とか比較手法としてすらDeepの話が一単語も出てこないのすごい．
• 特徴表現を提案している論文っぽく見えるのに，実験の比較はSVMなど識別器と比較しているのがちょっとよくわからない．
• Non-greedy Ratio Maximization of the L1-norm Distancesという論文の肝っぽいところもよくわかってない...

概要

3D shapeを学習する際にposeに独立なgeometryの潜在変数空間を学習するネットワークであるquotient autoencoder(QAE)を提案。通常のAEに加えて、orbit poolingとquotient lossという2つのアイディアを追加した。orbit poolingでは、入力された3D shapeに対して様々な回転を与えそれらから得られる潜在変数のうち、各成分の最大値をその3D shapeを表現する潜在変数とする。quotient lossでは、リコンストラクションされた3D shapeと参照3D shapeの距離の下限をロスとして採用する。この2つの方法によってposeに不変な潜在変数空間を構築する。

新規性・結果・なぜ通ったか？

• ShapeNet datasetを用いてデータオーギュメンテーションを行なった通常のVAEと比較。
• リコンストラクションした際のdepth map、ボクセルの誤差においてもっとも高い精度を達成。
• 一度QAEを学習すれば、同一3D shapeに対して任意の回転を与えた出力を行うことが可能。
• orbit pooling においてRBFを用いた非剛体変形を学習させることも可能。

コメント・リンク集

• 3D shapeに特化したモデル構築ではなく一般的な枠組みなので、他のデータ入力にも対応可能だと考えられる。
• 論文
• Supplementary material

概要

本稿では，かすんでいる画像から鮮明な画像を復元する手法を提案する。既存の手法では伝送マップおよび大気光を推定するために，例えば暗いチャネル，色の視差，最大のコントラストといった手作りの特徴を使用することが多い。本稿ではこの問題を条件付き生成的対立ネットワーク（cGAN）に基づいて解決する。ここで，鮮明な画像は，end-to-endの訓練可能なニューラルネットワークによって推定される。基本的なcGANの生成ネットワークとは異なり，本稿ではより良​​い結果を生み出すことができるように，エンコーダとデコーダのアーキテクチャを提案する。

新規性・結果・なぜ通ったか？

・条件付きGANを用いることにより，かすんでいる画像から鮮明な画像の生成を実現している。・鮮明な画像を生成するためにVGGフィーチャとL1正規化勾配を事前に導入することによって，基本のcGANフォーメーションをさらに修正している。

コメント・リンク集

• link

概要

本稿では高次元のデータと畳み込みニューラルネットワーク分類機を用いたアクティブ学習から最近提案されたいくつかの手法の検討をする．モンテカルロドロップアウト手法と幾何学手法に対してアンサンブルベースと比較する． MNISTとCIFAR-10の結果を示し，約12,200個のラベル付き画像で90％のテストセット精度を達成し，ImageNetで初期結果を得た．

新規性・結果・なぜ通ったか？

アンサンブルベースの不確かさは，他の不確かさ推定方法（特にMCドロップアウト）よりも一貫して優れていることを示し，MNISTとCIFAR-10の最先端のactivity learningパフォーマンスにつながる．

コメント・リンク集

• URL

概要

凸緩和を介して複数の幾何モデルを複数の構造データにフィッティングするための新しい方法を提案．COnvex Relaxation Algorithm（CORAL）を用いて多次元データを適合させ、セグメント化するための新しい最適化を行う．復ごとに同等のアーキテクチャで2桁の速さで最小化されるため、より多くの幾何学的マルチモデルフィッティング問題にリアルタイムで堅牢なパフォーマンスを得た．

新規性・結果・なぜ通ったか？

• COnvex Relaxation Algorithm（CORAL）は幾何学的マルチモデルフィッティングのための最適最小化アルゴリズム
• ラベルに対するポイントごとの評価を同時に処理することにより、本質的にランタイムパフォーマンスを向上

コメント・リンク集

• Paper

概要

既存のテキストの認識手法は，検出と認識を別のタスクとして扱う物が多い，しかし，本研究では，同時に検出と認識をするためのend-to-endで学習可能なFast Oriented Text Spotting（FOTS）を提案する．ICDAR 2015、ICDAR 2017 MLT、およびICDAR 2013を用いた文字の検出，識別の評価実験では既存の手法と比較してSoTAであった．

新規性・結果・なぜ通ったか？

• フレームワークをend-to-endとし，畳み込んだ特徴を共有することで，わずかな計算オーバーヘッドで同時にテキストを検出，認識することができ速度が向上．
• 畳み込んだ特徴マップから方向付けられたテキスト領域を抽出するためのRoIRotateを導入し，検出と識別の工程を結合．

コメント・リンク集

• YouTubeを見てみたが検出・識別する速度が早い！
• Paper
• YouTube

概要

一組のイメージカーブを用いて，3D直線に対応するという知識に基づき単一画像内のRS歪みを補正するロバストな方法を提案．一様な運動モデル下で移動するローリングシャッターカメラによって出現する3D直線の投影のためのパラメトリック方程式を定式化し，少なくとも4つのイメージカーブを用いて，姿勢パラメータとは別にカメラの角速度を効率的に推定する方法を提案．さらに，3D直線に対応するイメージカーブを選択し，3次元での実際のイメージカーブを選択するRANSACのような戦略を提案．

新規性・結果・なぜ通ったか？

・　合成データと実データの両方を用いた比較実験によりstate-of-the-art．

コメント・リンク集

• 論文

概要

高次のMRF(Markov Random Field)によるトランスダクティブ推論のための新しいアルゴリズムの提案．MRFでは単項式のエネルギーは可変分類器によってパラメータ化され，連続的な分類子のパラメータと離散的な変数の共同最適化問題として提起される．問題解決のために，凸緩和などの従来手法と対照的にADMM(Alternating Direction Method of Multipliers)での効率的な最適化手法として関連目的関数を離散的かつ連続的な問題に切り離すことを提案．離散変数の完全性を保ち，臨界点への大域収束性を保証している.

新規性・結果・なぜ通ったか？

・　MAPの推論問題の準最適解を得ることができ，計算上より困難なMRFを考慮することが可能．・　k-meansと対照的に深層特徴と統合される ・　従来手法より一貫した結果となり，ランタイム，メモリ消費について効率的．

コメント・リンク集

• 論文

概要

画像歪みに対するCNNの頑健性を改善する研究．特徴分布の高いモーメント統計は画像の歪みによってシフトする可能性があり，性能低下につながる．この効果を低減するために，特徴量の量子化によるアプローチを提案．1)スケーラブルな分解能を持つ床関数，2)学習可能な指数を持つ累乗関数，3)データ依存指数を用いた累乗関数の3種類の非線形関数をCNNに採用．

新規性・結果・なぜ通ったか？

・　提案手法を用いたResNet-50でモーションブラー，ごま塩ノイズ，それらの複合の歪みで歪んだ画像を用いたILSVRC-12分類タスクでそれぞれ6.95%，5.26%，5.61%の精度向上．

コメント・リンク集

• 論文

概要

多視点での車両の再識別問題を解決するために，視覚情報のみを用いたViewpoint-aware Attentive Multi-view Inference(VAMI)モデルを提案．VAMIは，任意の視点の車両画像を与えると，入力画像毎に単一視点の特徴を抽出し，その特徴を可変多視点の特徴表現に変換する．また，異なる視点で重要となるコア領域を選択し，敵対的学習で効果的なマルチビューの特徴推論を実装するため，視覚的なアテンションモデルを採用．

新規性・結果・なぜ通ったか？

VeRiとVehicleIDの2つのデータセットでの車両の再識別についてstate-of-the-artよりも改善．

コメント・リンク集

• 論文

概要

MOVIE graphsという新しいデータセットの提案．映画のクリップ中の社会的状況のグラフベースのアノテーションを詳細に行ったデータセットであり，各グラフは現在誰が写っているのか，感情や体格はどうか，複数人写っている場合の関係は，それらの間のインタラクションはといったさまざまなノードで構成されている．また，データセットの徹底的な分析を行い，時間経過とともにシーンの異なる社会的側面の興味深い常識的な相関関係を示す．グラフを用いてビデオとテキストを照会する方法として１）私たちのグラフは各場面をまとめて複数の意味的に関連する状況を取り出す方法，順序付けと理由の理解を通してインタラクションの理解のための方法を提案．

新規性・結果・なぜ通ったか？

・　人間中心の状況の推論された特性に焦点を当てた最初のベンチマークである．・　各クリップには，シチュエーションラベル，シーンラベル，および支援言語の説明がアノテーションされおり，視覚的かつ時間的に接地されている．グラフのキャラクターはクリップの中の顔のトラックに関連付けられ，ほとんどのインタラクションは発生する時間間隔に関連付けられる．

コメント・リンク集

• 論文
• Project Page

概要

• 新たな画像からPart stateをピクセルレベルで予測するタスク及び手法を提案した．(例:車のドアを入力画像から検出し，状態はopened)
• 著者達が物体パーツのセマンティックスペースを離散的なpart stateによりtokenizeし，各々のオブジェクトパートが一組のstateと関連する．推定段階ではピクセルレベルで物体パーツを検出し，stateをphraseにより出力する．また，提案タスクに用いられる新たなデータセットを構築した(画像はPASCAL VOC2010を用いた)．
• RGB-S(入力画像と推定したパーツセグメンテーション画像)からinteractiveでparts stateの予測を精密化するネットワークを提案した．

新規性・結果・なぜ通ったか？

• 新たなpart stateデータセットを提案．
• 提案手法をオブジェクトrelationship推定タスクにも用いられる．また，実験により提案手法が有効的にセマンティックパーツstatesを予測できる．

コメント・リンク集

• 従来のパーツセグメンテーションより一層理解のレベルが高い．また，提案のパーツstates推定が様々なほかのタスクに用いられる．
• VQA, Image captioningなどの画像理解部として用いられそう
• 論文

概要

• 大規模室内画像の6Dカメラ姿勢推定の手法InLocを提案した．提案手法がquery画像と大規模室内3次元マップからquery画像のカメラ姿勢推定を行う．大規模室内における新たな視覚的位置推定手法を提案した．具体的には：①大規模環境から候補姿勢を推定する②dense matchingを用いたテクスチャーレスシーンにも用いられる姿勢推定を行う．③視点合成をベースとした姿勢検証を行い，視点，シーンレイアウト，遮蔽にロバストに対応できるようにした．
• 大規模室内環境の画像の6Dカメラ姿勢推定用データセットを提案した．提案データセットのquery画像が手持ち携帯カメラにより異なる時間帯で収集され，ロバストアルゴリズムに用いられる．

新規性・結果・なぜ通ったか？

• 初めてのdense data associationを用いた室内環境位置推定手法であると指摘した．
• 提案したデータセットにおいて，従来手法より大幅に精度向上を実現した．

コメント・リンク集

• 室内の画像6D姿勢推定はかなり挑戦的なタスクのように思う．
• 論文

概要

• 大規模3D synchronizedマルチビデオからヒューマンインタラクションのdense semantic trajectory streamを再構成する手法の提案．
• マルチビデオからヒューマンインタラクションの軌跡を推定するにあたり，自己遮蔽，2Dノイズ，軌跡がfragmentedであるなどの問題点がある．著者達は，多視点の中により確信度が高い視点が存在するとして，そのような視点を導くための軌跡のセマンティックラベルの概率分布図3D semantic mapを提案した． 3D semantic mapは可視性および2D認識の確信度をベースとしたview poolingにより生成できる．また，密な軌跡が得られる場合，同じ物体の軌跡を局所剛体変換により表示できることから， 3D semantic map から局所剛体変換を推定することにより長距離軌跡に対応できる軌跡ラベル推定を行う．

新規性・結果・なぜ通ったか？

• リアル環境でオブジェクト，シーンまたは人などとインタラクションする人のセマンティック軌跡推定実験を行い，定性的結果により提案手法が①推定の正しさ②ロバスト性③長距離での有効性などの面においてベースライン手法より良い表現を達成した．

コメント・リンク集

• 人をVR環境に再生することに用いられそう
• 論文

概要

• PointCloudデータをCNNにより直接取り扱う新たなネットワークSCN(Shape Context Net)を提案した．クラシックなshape contextを階層的なCNNと組み合わせることをベースとした．
• 提案手法は従来のshape contextをCNN Building Blockにした．このblockを積み重ねることにより，局所からグローバル特徴を表せる．Shape Context Blockは具体的には，selection，aggregation，transformationから構成される．① selection：coarseグループとなる局所ポイントを選択する．②aggregation：相対位置の分布を捉えられるrobust descriptorを構築③transformation：異なる領域のポイントグループのdescriptorsを高次な特徴空間に射影する．

新規性・結果・なぜ通ったか？

• 提案のShape context blockをCNNより取り扱えるほか，hand designedな特徴量も適応できる．
• 提案のshape context blockをベースとしたpointcloud分類，セマンティックセグメンテーションネットワークはshapenet，modelnet40などのデータセットにおいてSoTAなパフォーマンスを達成した．

コメント・リンク集

• PointNetと類似し，PointNet++より簡潔な構造を持っている．
• 論文

概要

• Cross-modal, cross-levelな特徴を融合するEnd-to-EndなRGB-D salient物体検出ネットワークを提案した．
• 従来のRGB-Dデータを取り扱うネットワークは直接RGB，Dの特徴を連結するか，深い層の特徴だけ融合する事が多い．著者達は①もっと明示的にcross modalのcomplementary part をモデリングするべき②全部のレベルでcomplementを探索するべきの2つのところから，complementarity awareなネットワーク(CA Fuse)を提案し，CNNの層ごとにcross modalの特徴を結合する． CA Fuseに浅いから深い層までlevel-wiseに教師信号により，cross-levelなcomplementがより良く組み合わせられると指摘した．

新規性・結果・なぜ通ったか？

• 提案手法がcross modal, cross levelでRGBとDの情報を結合することにより，より有効的にRGBとDを融合できる．
• NLPR, NJUD, STEREOデータセットにおいてSoTAなsalient物体検出パフォーマンスを得られた．

コメント・リンク集

• RGBとDをいかに融合した方が良いのかを紹介しているので，一度実装してみたい
• 論文

概要

• DNNにおける全結合層と畳み込み層の両方のパラメータを圧縮するTensor Ring Networks (TR-Nets)を提案した．
• 実験によりTR-NetsはLeNet-5を精度の劣化なしに1/11に圧縮できることを示し，Cifar10の画像分類タスクにおいてWide ResNetを2.3%の劣化で1/243に圧縮できることを示した．

新規性・結果・なぜ通ったか？

• 既存の手法では主に全結合層のパラメータの圧縮に着目していたが，本研究では層の深いニューラルネットワークにおける全結合層と畳み込み層の多次元のテンソルパラメータを圧縮する手法を提案した．

コメント・リンク集

• 論文

概要

• 長年にわたって収集した異常や病変のアノテーションを施した放射線画像は基本的にソートされておらず、タイプや位置情報などの意味的なアノテーションがされていない．そこでこの研究では各病気の特徴を学習し，それらを整理，探索することで，重要な放射線画像を含む大規模なデータセットDeepLesionを提案した．

新規性・結果・なぜ通ったか？

• PACSから収集した新たな病変データセットとして，32Kを超える画像枚数と病変のバウンディングボックスとサイズを含むDeepLesionを提案した．
• CT画像内で検出された病変間の関係を効果的に検出，整理，学習する手法を開発した．

コメント・リンク集

• 論文

概要

近似的最近傍探索法（Approximated Nearest Neighbor; ANN）をベースにした直積量子化（Product Quantization; PQ）手法を提案する。粗な量子化、直積量子化、回転行列、コードブック計算に量子化法を用い、OpenCL-FPGAを使用したIntel HARPv2プラットフォームにより実装する。

新規性・結果・なぜ通ったか？

大規模かつ高次元のANNにおいて、FPGAによりCPU/GPUのパフォーマンスを越えることに成功した最初の例である。YFCC100M/BigANN/Deep1Bにおいて検証を行なった。

リンク集

• 論文

概要

ビジョンベースの慣性ナビゲーションシステム（Vision-aided Inertial Navigation Systems; VINS）に関して、低コストなステレオビジョンを提案する。通常は２カメラを用いるが、計算的なコストやレイテンシが問題になってしまう。Left-Rightカメラの代替として、片方のカメラのみでカメラ姿勢を推定、もう一方のカメラにより補間を行い、最後にスケール問題を解決。右図のように交互にアクティブなカメラを切り替えて探索を行う。

新規性・結果・なぜ通ったか？

Low-latencyなステレオのカメラを交互に切り替えて慣性ナビゲーションを行うalternating-stereo VINSを提案する。実際にシステムを構築して実験を行なったことも評価されている。

リンク集

• 論文

概要

ふたつのネットワークの協調学習であるCoupled End-to-End Transfer Learning（CETL）を提案、デコーダのパラメータを共有して対象ドメインに関してデータが少ないという転移学習の問題を改善する。さらに同ネットワークを最適化させるための誤差関数であるCoupledLossを提案した。ドメイン変換や知識蒸留でも使えることを示した。

新規性・結果・なぜ通ったか？

転移学習の問題（事前学習には膨大なデータがあるが、対象データが少量）を解決するためのCETLを提案した。汎用フィッシャー情報を提案して複数タスクにおける最適化を実行した。

リンク集

• 論文

概要

ハッシングに関するランキングを直接最適化、Average Precision（AP）やNormalized Discounted Cumulative Gain（NDCG）などにより評価できる手法について提案する。Intによるハミング距離をランキングし、AP/NDCGにより評価、勾配を最適化することによりCNNを学習する。ハミング距離による画像検索において新しいベースラインを作ることに成功した。

新規性・結果・なぜ通ったか？

ハッシングによる最適化について、評価指標をダイレクトに誤差に用いることができるTie-aware Learningを提案し、画像検索問題に応用した。CIFAR-10,NUS-WIDE,LabelMe,ImageNet100において新しいベースラインを作った。

コメント・リンク集

ハッシング、意外と根強く残っているし論文も通っているのでもっと目立っても良い？

• 論文
• Learning to Hash
• GitHub

概要

CVのアルゴリズムはカメラモーションやシーンにおける3次元構造など幾何的なロバスト推定を要することが多く、RANSACに頼ることも多い。本論文では単項式の選択により高速な多項式計算を実装するための方法について検討する。Grobner基底を利用することにより、効率的な計算を実現する。

新規性・結果・なぜ通ったか？

Grobner基底によりロバスト推定を高速化する方法について提案することに成功。単項式によるサンプリングについてヒューリスティックな方法を実現。幾何推定やカメラ校正問題についてState-of-the-artな方法を高速に実装。

コメント・リンク集

Grobner（oにウムラウト）という単語があり、CVFのオープンアクセスにリンクできなかった。

• 論文

概要

CNNによりロバスト性を与えるための学習手法Convolutional Prototype Learning（CPL）を提案する。識別器が騙されるということが少なくなり、識別問題に対して有効である。複数カテゴリに対して条件を与えること、PrototypeLoss（PL）による正則化を与えることでクラス内のコンパクト性を高めた。

新規性・結果・なぜ通ったか？

識別のロバスト性を高めるCPLを提案した。CPLではカテゴリを識別するだけでなく、アウトライア除去と新しいカテゴリを追加する機構が備わっている。MNIST/CIFARにて分離性の高い特徴を生成することができた。

コメント・リンク集

自動カテゴリ追加、もっとできるようになって欲しい！

• 論文

概要

Multi-task Learning（MTL; 多タスク学習）について、例えばCNNとGaussian ProcessといったHeterogeneousな学習や推定を同時に行う新しい方法を提案する。タスクに依存しないランダムパラメータを求めることができるため、あらかじめタスクごとの知識を前提としないMTLを実現可能である。実空間における回帰やランキングの問題において良好な精度を実現可能である。

新規性・結果・なぜ通ったか？

異なるタスク間（CNNとGaussian Processなど）において事前情報を前提としない学習法を提案した。各種データセットにおいて良好な精度を実現した。（表に示す通りであり、大体においてベースラインよりも精度が高い）

コメント・リンク集

モデル自体も異なる多タスク学習。あまり見ないがそんなこともできるのか、という印象。

• 論文

概要

グラフベースのクラスタリングに関して、Micro-averageを用いたコスト関数micro average association（micro-AA）を提案。グラフベースのクラスタリングはSpectral Clusteringが従来法の代表例であり互いに素な分類が望ましいが、所望のクラスタより小さな集合を形成してしまい望ましくない。本論文では初期値にも依存しない局所的最適化解を求めることができる。Direct Local Optimization（DLO）により、近似を行うことなく全体最適化を行う。DLOでは初期値に依存するが、Initial-guess-free algorithmを用いることにより解決。

新規性・結果・なぜ通ったか？

グラフベースのクラスタリングについて、micro-AAを提案、さらに全体最適化する方法や局所最適解に陥らないような最適化テクニックについても紹介したことが大きな貢献である。COIL20 datasetにて100%のクラスタリングを実現するなど、良好な精度を実現することに成功した。

コメント・リンク集

発想が面白く、最適化のテクニックも多数紹介されているので有益。

• 論文
• 相澤・山崎研

概要

スパースな3次元点群データから道路面（レーン検出レベルで）構造を把握するためのHierarchical Recurrent Attention Networkを提案する。また、3次元点群処理において推定したエッジと正解値の微分可能な誤差関数Polyline Lossも提案する。高速道路にて90km/hで移動する車両から92%の確率でレーン検出を可能にした。右図は提案手法であるHierarchical Recurrent Attention Networkの構造を示したものである。基本的には対称のスキップコネクションを含むEncoder-Decoder方式であるが、Encoderの各層からRecurrent Countingを行う層を追加、Decoderとの整合性をとることで精度を高める。

新規性・結果・なぜ通ったか？

高速道路を想定した環境でも3次元点群処理を高精度に実行するネットワークHierarchical Recurrent Attention Networkを提案した。入力である点群処理からレーン検出を行うことができる。さらに誤差関数PolylineLossを提案することで点群からの推定値と正解値との誤差を計算することができネットワークを学習可能とした。

コメント・リンク集

高速道路のデータは意外と少なかった？高速に移動する車両からの物体検出やセグメンテーションが現状どの程度できているか疑問である。

• 論文
• Uber at CVPR

概要

Product Quantization（PQ; 直積量子化）は与えられたデータを低次元に分解できるため、高次元のエンコーディングに対して有効である。本論文ではPQの直交（orthogonal）時について解析するとともに、Spectral Decompositionについても関係性を調べる。本論文の解析によりスペクトル解析に関する知見が得られることや、計算コストについても言及できる。本論文で提案する定式化により、よりシンプルで効率化されたdecomposition手法を与えることができる。

新規性・結果・なぜ通ったか？

PQの課題においてスペクトル解析と関連することを示した（+定式化）ことが最大の貢献である。各種データセット（Sift25K/1M,Mnist,Cifar,VladLong）にて従来法よりも良好な精度を実現するとともに、効率的な計算ができることも示した。

コメント・リンク集

本論文では理論的な解法を与えたことが評価された点である。検索問題を考えるとPQは面白そうである。

• 論文
• 直積量子化サーベイ

概要

スーパーピクセル（Superpixels）において多角形形状にて画像領域を近似する問題を取り扱う。従来手法（例えばボロノイマップ）では細い形状にて多角形性を失いがちであるが、本論文では克服することに成功し、サイズや形状によらず柔軟な推定が可能である。事前情報として直線のセグメントを計算しておくことで精度が向上することが明らかとなった。実験ではより少ない多角形で幾何学的な特徴を捉えることに成功した。

新規性・結果・なぜ通ったか？

画像のスーパーピクセル近似にて、多角形により効率化された計算を可能にした。事前情報として直線検出と組み合わせることにより画像中の情報をよりよく捉えることができる。

コメント・リンク集

特に人工物における形状を効果的に捉えることができる？

• 論文

概要

自然の中に存在するカーブ（Natural Curves）を想定、認識することで欠損やオクルージョン環境下の補完/インペインティングを実行。与えられた画像中の物体から2つのエンドポイント（End Point）とタンジェント角度（Tangent Orientation）をラベルづけ、推定したカーブの平均値により補完を実行する。

新規性・結果・なぜ通ったか？

自然のカーブを想定することでオクルージョンや欠損を含んでいたとしても補完をやりやすくした。基本的には2点のエンドポイントをタンジェント角で繋ぐことでカーブを認識し、背景には様々な角度表現やデータを配置している。

リンク集

• 論文

�T�v

��K���̐M�����f�����O�́A�摜�����A�v���P�[�V�����ɂ������Ǐ����ւ�L���v�`���[���邽�߂ɍL�����p����Ă����B�O���[�v�����ꂽ�摜�p�b�`�ɂ���Đ������ꂽ�������z��ɑ΂��Ē�K���̑������z����q���͂�p����V������@���Ă���D��K���������z��́A�摜�č\�z���ɉ��P���邽�߂ɁC��֕�����Z�@(ADMM)�ɑ�����D����A�v���P�[�V�����͈��k�Z���V���O�iCS�j�ł���C�[����ݍ��݃A�[�L�e�N�`�����̗p����CCS�A�v���P�[�V�����ɂ����鍂���ȃ}�g���b�N�X���]��ߎ�����DNLR-TFA�ƌĂ΂�邱�̒�K���������z��̈�������@�Ɋ�Â������A���S���Y�����ڂ����������D�m�C�Y�̂Ȃ���̂ƃm�C�Y�̂���CS����̎������ʂ́A���ɒ�CS�T���v�����O���[�g�ł̒�Ď�@�̗D�ʐ���ؖ�����D

�V�K���E���ʁE�Ȃ��ʂ������H

�p�b�`�O���[�v���Ɋ�Â��Đ���摜���瑽�����z��𐶐�����D���ɑ������z��𕪉��ɑ������z����K���ɐݒ肷��D ���̐V������K���������z��́CADMM�ɂ���ĉ�����O���[�o���ȖړI�֐��ɑ�����D ������2�‚̃X�e�b�v�́C���炩�̊�𖞂����܂ŌJ��Ԃ����s�����D

�R�����g�E�����N�W

• URL

概要

本稿では、双方向検索モデルを学習するための非常に簡単で効果的な文字レベルのアーキテクチャを示す．マルチモーダルコンテンツを整列させることは、画像と記述との間の意味的対応を見つけることの難易度を考慮すると特に挑戦的である．そこで実際の文字を明確な粒度レベルで畳み込むことによって、テキストセマンティック埋め込みを学ぶために設計された効率的な文字レベルのソースモジュールを示す．私たちのアプローチで生成されたモデルは、単語埋め込みに基づく最先端の戦略よりもはるかに入力ノイズに対して堅牢である． 概念的にもかかわらずはるかに単純であり，より少ないパラメータしか必要としない．テキスト分類，特に多言語およびノイズが多い分野での堅実なパフォーマンスを示す．

新規性・結果・なぜ通ったか？

CHAIN-VSEという生の文字に基づいてテキスト埋め込みを学習できる双方向検索のためのシンプルなアーキテクチャによって，概念的には関連研究よりもはるかに単純なアーキテクチャであってもMS COCOなどを考慮して，テキストからイメージへとテキストからテキストへの両方で最先端の結果が得られる．

コメント・リンク集

• URL

概要

3値や2値などの非常に低ビットのパラメータ値を持つDNNモデルを顕著な損失なく32ビットの浮動小数点数に近似させる新しい方法であるELLS(Explicit Loss-Error-Aware Quantization)を提案

新規性・結果・なぜ通ったか？

Imagenetでの実験では量子化を行ったことによる精度の低下の少なさでstate-of-the-art

コメント・リンク集

• 論文

概要

熱画像における経時変化の光伝送分解手法を提案．熱の伝播の速さは光よりも非常に遅く，遠赤外光の過渡遷移がサーマルカメラで観測可能である． 近似的ににコントロールされた環境における可視光画像と似ているため， 従来のCV技術をストレートフォワードに熱画像に適用できるのが肝．

熱画像における散乱光成分は分離可能で，したがって物体の表面の法線を推定可能である．

熱画像を用いれば，黒色，透明，半透明物体に適用可能である．

新規性・結果・なぜ通ったか？

可視光と熱の伝播モデルの差を考慮したCV技術転用のモデル化方法を与えている．また，遠赤外光の伝播特性の差異を用いた手法は新しい．

コメント・リンク集

熱変化は実際経時変化が人間にも認識できるレベルの速さなのが特徴的で，研究には実際専用の知見が必要そう． 適用可能かどうかは実際やってみないと分からないところが多いと思う．頑張ってほしい．

可視光以外を使っている研究の「黒色，透明，半透明OK」は実際キラーワード．

• 論文

概要

• 近年のDNNの学習におけるメモリフットプリントを大幅に削減する新たな手法としてIn-Place Activated Batch Normalization (INPLACE-ABN)を提案した論文．
• INPLACE-ABNは従来のBatch正規化＋活性化層を単一のプラグイン層に置き換えることで，構造を大きく変えることなく，既存のDNNに簡単に適用することができる．

新規性・結果・なぜ通ったか？

• 0.82%というわずかな計算時間の増加で最大50%のメモリ消費を抑えることができる．
• Batch正規化＋活性化層が存在するネットワークに適用することができる新たに独立したINPLACE-ABN層を提案し，近年のDNNの学習におけるメモリ使用率を低減した．

コメント・リンク集

• 論文

概要

デジタルカメラで実行される重要な操作の1つに、センサ固有の色空間を標準の知覚色空間にマッピングすることがある．この手順は、ホワイトバランス補正の後に色空間変換を適用することを含む。 この比色マッピングの現在のアプローチは、2つの決まった照度（すなわち，2つのホワイトバランス設定）について計算された事前にキャリブレーションされた色空間変換の補間に基づく． 異なる照度の下で取り込まれた画像は，この補間処理の使用により，色の再現精度が低下する． 本稿では，現在の比色マッピング手法の限界について議論し，色再現精度を向上させる2つの手法を提案する．7つの異なったカメラでアプローチを評価し，色再現誤差の点で最大30％（DSLRカメラ）と59％（携帯電話カメラ）改善した．

新規性・結果・なぜ通ったか？

比色マッピング手順を改善する2つの方法として，1つ目は，補間方法における追加のキャリブレーションされた照度を含む補間方法の単純な拡張を行う． 2つ目は、フルカラー補正マトリクスに依存した，すべての入力画像に対して固定CSTマトリクスを使用する方法である．

コメント・リンク集

• URL

概要

学習ベースのサブピクセルリファインメント手法Linear Predictiorsにおいて，効率的な計算方法を提案． 適用可能かどうかは実際やってみないと分からないところが多いと思う．頑張ってほしい．

可視光以外を使っている研究の「黒色，透明，半透明OK」は実際キラーワード．

• 論文

概要

• 近年のDNNの学習におけるメモリフットプリントを大幅に削減する新たな手法としてIn-Place Activated Batch Normalization (INPLACE-ABN)を提案した論文．
• INPLACE-ABNは従来のBatch正規化＋活性化層を単一のプラグイン層に置き換えることで，構造を大きく変えることなく，既存のDNNに簡単に適用することができる．

新規性・結果・なぜ通ったか？

• 0.82%というわずかな計算時間の増加で最大50%のメモリ消費を抑えることができる．
• Batch正規化＋活性化層が存在するネットワークに適用することができる新たに独立したINPLACE-ABN層を提案し，近年のDNNの学習におけるメモリ使用率を低減した．

コメント・リンク集

• 論文

概要

デジタルカメラで実行される重要な操作の1つに、センサ固有の色空間を標準の知覚色空間にマッピングすることがある．この手順は、ホワイトバランス補正の後に色空間変換を適用することを含む。 この比色マッピングの現在のアプローチは、2つの決まった照度（すなわち，2つのホワイトバランス設定）について計算された事前にキャリブレーションされた色空間変換の補間に基づく． 異なる照度の下で取り込まれた画像は，この補間処理の使用により，色の再現精度が低下する． 本稿では，現在の比色マッピング手法の限界について議論し，色再現精度を向上させる2つの手法を提案する．7つの異なったカメラでアプローチを評価し，色再現誤差の点で最大30％（DSLRカメラ）と59％（携帯電話カメラ）改善した．

新規性・結果・なぜ通ったか？

比色マッピング手順を改善する2つの方法として，1つ目は，補間方法における追加のキャリブレーションされた照度を含む補間方法の単純な拡張を行う． 2つ目は、フルカラー補正マトリクスに依存した，すべての入力画像に対して固定CSTマトリクスを使用する方法である．

コメント・リンク集

• URL

概要

学習ベースのサブピクセルリファインメント手法Linear Predictiorsにおいて，効率的な計算方法を提案． 適用可能かどうかは実際やってみないと分からないところが多いと思う．頑張ってほしい．

可視光以外を使っている研究の「黒色，透明，半透明OK」は実際キラーワード．

• 論文

概要

• 近年のDNNの学習におけるメモリフットプリントを大幅に削減する新たな手法としてIn-Place Activated Batch Normalization (INPLACE-ABN)を提案した論文．
• INPLACE-ABNは従来のBatch正規化＋活性化層を単一のプラグイン層に置き換えることで，構造を大きく変えることなく，既存のDNNに簡単に適用することができる．

新規性・結果・なぜ通ったか？

• 0.82%というわずかな計算時間の増加で最大50%のメモリ消費を抑えることができる．
• Batch正規化＋活性化層が存在するネットワークに適用することができる新たに独立したINPLACE-ABN層を提案し，近年のDNNの学習におけるメモリ使用率を低減した．

コメント・リンク集

• 論文

概要

デジタルカメラで実行される重要な操作の1つに、センサ固有の色空間を標準の知覚色空間にマッピングすることがある．この手順は、ホワイトバランス補正の後に色空間変換を適用することを含む。 この比色マッピングの現在のアプローチは、2つの決まった照度（すなわち，2つのホワイトバランス設定）について計算された事前にキャリブレーションされた色空間変換の補間に基づく． 異なる照度の下で取り込まれた画像は，この補間処理の使用により，色の再現精度が低下する． 本稿では，現在の比色マッピング手法の限界について議論し，色再現精度を向上させる2つの手法を提案する．7つの異なったカメラでアプローチを評価し，色再現誤差の点で最大30％（DSLRカメラ）と59％（携帯電話カメラ）改善した．

新規性・結果・なぜ通ったか？

比色マッピング手順を改善する2つの方法として，1つ目は，補間方法における追加のキャリブレーションされた照度を含む補間方法の単純な拡張を行う． 2つ目は、フルカラー補正マトリクスに依存した，すべての入力画像に対して固定CSTマトリクスを使用する方法である．

コメント・リンク集

• URL

概要

学習ベースのサブピクセルリファインメント手法Linear Predictiorsにおいて，効率的な計算方法を提案． テンプレート画像をワープさせて誤差が小さくなるようにワープパラメータを最適化するやり方について扱う．

新手法Symbolic Linear Predictorsにより，学習ステップの効率化を実現．一度計算すると複数回異なる画像パッチに対し使いまわせる． これにより，性能を落とさずにオンラインで実行可能に．SLAMなどで使えるようになる．学習ベース手法の実行時効率性のの恩恵がうけられる． また，推測可能な誤差尺度を提案．推測することで，テンプレートの位置合わせ時の誤差を小さくすることができるようになる． 従来手法によれば何百も存在するキーポイントにおいて評価が必要であったが， これにより最良のキーポイント達だけ使えばよくなる．

新規性・結果・なぜ通ったか？

SLAM等における有用な手法をアプリケーションレベルに効率化した．

コメント・リンク集

Subpixel Refinementが共通認識のように語られているが，まとめ人的には画像上の位置合わせにおけるサブピクセル精度での精整のことだと気づくのに結構時間かかった．勉強不足だろうか．

コントリビューションの明示的主張のない，CVPRでは珍しい論文．

カメラレディ原稿のフォーマットの不備がある．校正頑張ってほしい．

• 論文

概要

世の中のデータはマニフォールド上にある事が多いので，ユークリッド空間のような環境空間ではなく，データの表すマニフォールド幾何を考え， これにより最良のキーポイント達だけ使えばよくなる．

新規性・結果・なぜ通ったか？

SLAM等における有用な手法をアプリケーションレベルに効率化した．

コメント・リンク集

Subpixel Refinementが共通認識のように語られているが，まとめ人的には画像上の位置合わせにおけるサブピクセル精度での精整のことだと気づくのに結構時間かかった．勉強不足だろうか．

コントリビューションの明示的主張のない，CVPRでは珍しい論文．

カメラレディ原稿のフォーマットの不備がある．校正頑張ってほしい．

• 論文

概要

世の中のデータはマニフォールド上にある事が多いので，ユークリッド空間のような環境空間ではなく，データの表すマニフォールド幾何を考え， これにより最良のキーポイント達だけ使えばよくなる．

新規性・結果・なぜ通ったか？

SLAM等における有用な手法をアプリケーションレベルに効率化した．

コメント・リンク集

Subpixel Refinementが共通認識のように語られているが，まとめ人的には画像上の位置合わせにおけるサブピクセル精度での精整のことだと気づくのに結構時間かかった．勉強不足だろうか．

コントリビューションの明示的主張のない，CVPRでは珍しい論文．

カメラレディ原稿のフォーマットの不備がある．校正頑張ってほしい．

• 論文

概要

世の中のデータはマニフォールド上にある事が多いので，ユークリッド空間のような環境空間ではなく，データの表すマニフォールド幾何を考え， その正規化によって学習できると性能を向上できる． 実際，マニフォールド幾何はテンソルで扱えるのだが， 既存手法ではテンソルの学習における微分可能なマニフォールド幾何の正規化ができていない．

本稿では，テンソルの正規化・学習ができるように，リーマン多様体上での学習を考え， サロゲート（代理）目的関数を導入． テンソルが表す幾何特徴をカプセル化する． これにより，非対称かつ高次テンソルの学習ができるようになる．

新規性・結果・なぜ通ったか？

多様体におけるテンソルの学習ができるようにした．実際やってみたら予想通り学習もうまくいった．

コメント・リンク集

• マニフォールド（多様体）局所的にはユークリッド空間とみなせるような空間．地球は丸いけど住民にとっては平面．

• リーマン多様体（超粗く言うと）隣は次どっちにどれだけ離れてるかという情報が定義されている多様体．多様体の基本の表し方の一つ．

• 論文

概要

• Visual relationship検出タスクの新たなend-to-endパイプラインを提案した．提案手法が学習データからtensorial representationを探索し，またそれからrelational priorを求める． relational priorにより有効的にrelationship検出学習のpriorとして用いられる．
• 従来のVisual relationship用学習データセットのrelationshipがスパースで，学習データから潜在的な関係を学習するのが困難である．このようなスパースな学習relationshipから有効的にrelational priorを導く非学習型の手法(numerical線形代数をベースとした手法)を提案した．
• また，提案のVisual relationship検出パイプラインは①入力がぞうからバウンディングボクス，関係などを検出②提案の学習済みrelational priorを利用し，scene graph learningを用いた手法を用いてオブジェクト及び関係を予測する．

新規性・結果・なぜ通ったか？

• Relationshipsがスパースな学習データセットからrelational priorを有効的に求める手法を提案した．
• 提案のrelational priorを用いたらVisual GenomeデータセットのScene graph予測タスクでSoTAなパフォーマンスを得られた．

コメント・リンク集

• スパースな関係（1%,2%以下）を有効的にrepresentできる代数ベースな手法の提案．詳細は良く理解できていなかった．
• 論文

概要

• Visual Groundingタスクに用いられる新たなattentionメカニズムA-ATTを提案した．VGタスクのattentionを①query attention②image attention③objects attentionに分解し，累積をベースとした手法でこの三つのattentionを求める．
• 従来のVGタスクは画像・query・objectsの情報をまとめて取り扱うので， 情報が冗長になるという問題がある．そこで，著者達がVGタスクを３つのサブタスク，①クエリ中の主目的の判別②画像中のコンセプトの理解③関連性が最も高い物体の定位，に分解した．また，この３つのサブタスクを３種類のattention問題として取り扱う．具体的には，A-ATT attentionメカニズムを提案し，それにより累積的に３つのattentionを求め，異なる累積の段階でattentionをリファインする．これによりノイズなどに対してロバストになる．

新規性・結果・なぜ通ったか？

• 提案のA-ATTメカニズムによりノイズ，冗長性などが異なる累積段階で影響が減っていく．また，このメカニズムにより提案手法が幅広いタイプのクエリに対応できる．
• ReferCOCO, ReferCOCO+,ReferCOCOg,Guesswhat?!の4つのデータセットにおいてSoTAな精度を得られた．

コメント・リンク集

• 提案のA-ATTメカニズムはVQAにも使えそう．
• 論文

概要

• VQAタスクに用いられる新たなattentionメカニズムdifferential attentionを提案した．これにより，人間のattentionにより近いattentionを得られる．
• 従来のVQA手法でもattentionが広く用いられるが，人間のattentionに関連性が低かった．そこで，認知心理学に広く用いられるexemplarベースな手法を用いてsupporting, opposing exemplarsによりdifferential attention領域を求める．具体的には，①入力画像，質問からreference attention embeddingを求める．②このembeddingによりデータベースから順序を求め，現在の入力と近いsupporting exemplar及び遠いsupporting exemplarを求める．③これらexemplarと入力からdifferential attention vectorを求める．

新規性・結果・なぜ通ったか？

• VQAタスクにexemplar based approachという新たな視点をもたらした．また，提案したdifferential attentionが人間のattentionにより近いことを示した．
• VQA1.0，VQA2.0，HATなどのデータセットにおいてimage attentionベース手法の中で最も良い精度を達成し，Image-Question attentionベース手法と近い精度が得られた．

コメント・リンク集

• 認知心理学の知見をVQAタスクに応用した例．今後も人間のattentionを詳細に検討するべきだと思う．
• 論文

概要

• Dense Video Captioningにおける２つの課題，コンテキスト融合，イベント表現における新たな提案．コンテキスト融合において，過去と将来のコンテキストを利用しevent proposalの予測を行う．また，event descriptionsのdecoderへのより有益な情報を含む入力の作り方を提案した．
• 従来のdense video captioningでは主にforward方向でevent proposalを予測するが，著者らは過去と将来のコンテキストからevent proposalを予測できるbidirectional proposal手法を提案した．また，異なるeventが同じ時間に終了する場合，従来手法では正しく対応できないが，著者らはイベントを動画特徴の隠れ状態のattentive fusionにより表示し，その問題を対応できるようにした． また，動的に現在のイベントと周囲のコンテキストのバランスを取るcontext gatingメカニズムを提案した．

新規性・結果・なぜ通ったか？

• 提案手法のproposalとcaptioningモジュールを従来のフレームワークに適応することで，ActivityNet Captions datasetにおいてSoTAな表現を達成した．(Meteor scoreを4.82から9.65にアップした)

コメント・リンク集

• Bidirectionalも最近よく見られるワード．
• 論文

概要

• VQAタスクに用いられるVisual Knowledge Memory Network(VKMN) を提案した． VKMNは人間の知識と深層視覚特徴をメモリーネットワークにより結合し，VQAの精度を向上できる．
• 自然言語処理のテキストベースなQAタスクに用いられる方法から，確立済みの視覚の知識に基づくVKMNを提案した．①Apparent object(答えが画像から直接読める);②Indiscernible(答えが画像中で小さい);③Invisible objectiveの(直接画像から答えられない)3種類の画像―結果の関係を定義した．また，VKMNはknowledge triples(subject, relation, target)と視覚特徴をvisual knowledge featureにembeddingする．

新規性・結果・なぜ通ったか？

• VQA1.0,VQA2.0において良い結果を達成し，knowledge-reasoningの関係性の質問に対してSoTAな結果を得られた．

コメント・リンク集

• 自然言語処理系のQAに関する知識をVQAに用いることがセンスある．また，従来のV，Qに向けて様々なVQA方法が提出され，knowledge representationのあたりに力を入れるのも良い方向だと思う．
• 論文

概要

既存の動画超解像方法とは根本的に異なるフレームワークとして，動的にアップサンプリングフィルタや残差画像を生成するディープニューラルネットワークを新たに提案する．このアプローチにより，入力画像から直接高解像度画像を得ることができる．新しいデータオーギュメンテーション方法と大量の学習動画を用いることにより，SOTAなパフォーマンスを達成．

新規性・結果・なぜ通ったか？

図に示すように，提案手法はSOTA手法の一つであるVSRnetと比較して，チラツキが減少していることがわかる．さらにバイキュービック法やVSRnet，VESPCN等と比較し提案手法は，PSNR，SSIMの両方においても優れていることがわかった．

コメント・リンク集

• 論文URL

新規性・結果・なぜ通ったか？

多様体におけるテンソルの学習ができるようにした．実際やってみたら予想通り学習もうまくいった．

コメント・リンク集

• マニフォールド（多様体）局所的にはユークリッド空間とみなせるような空間．地球は丸いけど住民にとっては平面．

• リーマン多様体（超粗く言うと）隣は次どっちにどれだけ離れてるかという情報が定義されている多様体．多様体の基本の表し方の一つ．

• 論文

概要

• Visual relationship検出タスクの新たなend-to-endパイプラインを提案した．提案手法が学習データからtensorial representationを探索し，またそれからrelational priorを求める． relational priorにより有効的にrelationship検出学習のpriorとして用いられる．
• 従来のVisual relationship用学習データセットのrelationshipがスパースで，学習データから潜在的な関係を学習するのが困難である．このようなスパースな学習relationshipから有効的にrelational priorを導く非学習型の手法(numerical線形代数をベースとした手法)を提案した．
• また，提案のVisual relationship検出パイプラインは①入力がぞうからバウンディングボクス，関係などを検出②提案の学習済みrelational priorを利用し，scene graph learningを用いた手法を用いてオブジェクト及び関係を予測する．

新規性・結果・なぜ通ったか？

• Relationshipsがスパースな学習データセットからrelational priorを有効的に求める手法を提案した．
• 提案のrelational priorを用いたらVisual GenomeデータセットのScene graph予測タスクでSoTAなパフォーマンスを得られた．

コメント・リンク集

• スパースな関係（1%,2%以下）を有効的にrepresentできる代数ベースな手法の提案．詳細は良く理解できていなかった．
• 論文

概要

• Visual Groundingタスクに用いられる新たなattentionメカニズムA-ATTを提案した．VGタスクのattentionを①query attention②image attention③objects attentionに分解し，累積をベースとした手法でこの三つのattentionを求める．
• 従来のVGタスクは画像・query・objectsの情報をまとめて取り扱うので， 情報が冗長になるという問題がある．そこで，著者達がVGタスクを３つのサブタスク，①クエリ中の主目的の判別②画像中のコンセプトの理解③関連性が最も高い物体の定位，に分解した．また，この３つのサブタスクを３種類のattention問題として取り扱う．具体的には，A-ATT attentionメカニズムを提案し，それにより累積的に３つのattentionを求め，異なる累積の段階でattentionをリファインする．これによりノイズなどに対してロバストになる．

新規性・結果・なぜ通ったか？

• 提案のA-ATTメカニズムによりノイズ，冗長性などが異なる累積段階で影響が減っていく．また，このメカニズムにより提案手法が幅広いタイプのクエリに対応できる．
• ReferCOCO, ReferCOCO+,ReferCOCOg,Guesswhat?!の4つのデータセットにおいてSoTAな精度を得られた．

コメント・リンク集

• 提案のA-ATTメカニズムはVQAにも使えそう．
• 論文

概要

• VQAタスクに用いられる新たなattentionメカニズムdifferential attentionを提案した．これにより，人間のattentionにより近いattentionを得られる．
• 従来のVQA手法でもattentionが広く用いられるが，人間のattentionに関連性が低かった．そこで，認知心理学に広く用いられるexemplarベースな手法を用いてsupporting, opposing exemplarsによりdifferential attention領域を求める．具体的には，①入力画像，質問からreference attention embeddingを求める．②このembeddingによりデータベースから順序を求め，現在の入力と近いsupporting exemplar及び遠いsupporting exemplarを求める．③これらexemplarと入力からdifferential attention vectorを求める．

新規性・結果・なぜ通ったか？

• VQAタスクにexemplar based approachという新たな視点をもたらした．また，提案したdifferential attentionが人間のattentionにより近いことを示した．
• VQA1.0，VQA2.0，HATなどのデータセットにおいてimage attentionベース手法の中で最も良い精度を達成し，Image-Question attentionベース手法と近い精度が得られた．

コメント・リンク集

• 認知心理学の知見をVQAタスクに応用した例．今後も人間のattentionを詳細に検討するべきだと思う．
• 論文

概要

• Dense Video Captioningにおける２つの課題，コンテキスト融合，イベント表現における新たな提案．コンテキスト融合において，過去と将来のコンテキストを利用しevent proposalの予測を行う．また，event descriptionsのdecoderへのより有益な情報を含む入力の作り方を提案した．
• 従来のdense video captioningでは主にforward方向でevent proposalを予測するが，著者らは過去と将来のコンテキストからevent proposalを予測できるbidirectional proposal手法を提案した．また，異なるeventが同じ時間に終了する場合，従来手法では正しく対応できないが，著者らはイベントを動画特徴の隠れ状態のattentive fusionにより表示し，その問題を対応できるようにした． また，動的に現在のイベントと周囲のコンテキストのバランスを取るcontext gatingメカニズムを提案した．

新規性・結果・なぜ通ったか？

• 提案手法のproposalとcaptioningモジュールを従来のフレームワークに適応することで，ActivityNet Captions datasetにおいてSoTAな表現を達成した．(Meteor scoreを4.82から9.65にアップした)

コメント・リンク集

• Bidirectionalも最近よく見られるワード．
• 論文

概要

• VQAタスクに用いられるVisual Knowledge Memory Network(VKMN) を提案した． VKMNは人間の知識と深層視覚特徴をメモリーネットワークにより結合し，VQAの精度を向上できる．
• 自然言語処理のテキストベースなQAタスクに用いられる方法から，確立済みの視覚の知識に基づくVKMNを提案した．①Apparent object(答えが画像から直接読める);②Indiscernible(答えが画像中で小さい);③Invisible objectiveの(直接画像から答えられない)3種類の画像―結果の関係を定義した．また，VKMNはknowledge triples(subject, relation, target)と視覚特徴をvisual knowledge featureにembeddingする．

新規性・結果・なぜ通ったか？

• VQA1.0,VQA2.0において良い結果を達成し，knowledge-reasoningの関係性の質問に対してSoTAな結果を得られた．

コメント・リンク集

• 自然言語処理系のQAに関する知識をVQAに用いることがセンスある．また，従来のV，Qに向けて様々なVQA方法が提出され，knowledge representationのあたりに力を入れるのも良い方向だと思う．
• 論文

概要

既存の動画超解像方法とは根本的に異なるフレームワークとして，動的にアップサンプリングフィルタや残差画像を生成するディープニューラルネットワークを新たに提案する．このアプローチにより，入力画像から直接高解像度画像を得ることができる．新しいデータオーギュメンテーション方法と大量の学習動画を用いることにより，SOTAなパフォーマンスを達成．

新規性・結果・なぜ通ったか？

図に示すように，提案手法はSOTA手法の一つであるVSRnetと比較して，チラツキが減少していることがわかる．さらにバイキュービック法やVSRnet，VESPCN等と比較し提案手法は，PSNR，SSIMの両方においても優れていることがわかった．

コメント・リンク集

• 論文URL

新規性・結果・なぜ通ったか？

多様体におけるテンソルの学習ができるようにした．実際やってみたら予想通り学習もうまくいった．

コメント・リンク集

• マニフォールド（多様体）局所的にはユークリッド空間とみなせるような空間．地球は丸いけど住民にとっては平面．

• リーマン多様体（超粗く言うと）隣は次どっちにどれだけ離れてるかという情報が定義されている多様体．多様体の基本の表し方の一つ．

• 論文

概要

• Visual relationship検出タスクの新たなend-to-endパイプラインを提案した．提案手法が学習データからtensorial representationを探索し，またそれからrelational priorを求める． relational priorにより有効的にrelationship検出学習のpriorとして用いられる．
• 従来のVisual relationship用学習データセットのrelationshipがスパースで，学習データから潜在的な関係を学習するのが困難である．このようなスパースな学習relationshipから有効的にrelational priorを導く非学習型の手法(numerical線形代数をベースとした手法)を提案した．
• また，提案のVisual relationship検出パイプラインは①入力がぞうからバウンディングボクス，関係などを検出②提案の学習済みrelational priorを利用し，scene graph learningを用いた手法を用いてオブジェクト及び関係を予測する．

新規性・結果・なぜ通ったか？

• Relationshipsがスパースな学習データセットからrelational priorを有効的に求める手法を提案した．
• 提案のrelational priorを用いたらVisual GenomeデータセットのScene graph予測タスクでSoTAなパフォーマンスを得られた．

コメント・リンク集

• スパースな関係（1%,2%以下）を有効的にrepresentできる代数ベースな手法の提案．詳細は良く理解できていなかった．
• 論文

概要

• Visual Groundingタスクに用いられる新たなattentionメカニズムA-ATTを提案した．VGタスクのattentionを①query attention②image attention③objects attentionに分解し，累積をベースとした手法でこの三つのattentionを求める．
• 従来のVGタスクは画像・query・objectsの情報をまとめて取り扱うので， 情報が冗長になるという問題がある．そこで，著者達がVGタスクを３つのサブタスク，①クエリ中の主目的の判別②画像中のコンセプトの理解③関連性が最も高い物体の定位，に分解した．また，この３つのサブタスクを３種類のattention問題として取り扱う．具体的には，A-ATT attentionメカニズムを提案し，それにより累積的に３つのattentionを求め，異なる累積の段階でattentionをリファインする．これによりノイズなどに対してロバストになる．

新規性・結果・なぜ通ったか？

• 提案のA-ATTメカニズムによりノイズ，冗長性などが異なる累積段階で影響が減っていく．また，このメカニズムにより提案手法が幅広いタイプのクエリに対応できる．
• ReferCOCO, ReferCOCO+,ReferCOCOg,Guesswhat?!の4つのデータセットにおいてSoTAな精度を得られた．

コメント・リンク集

• 提案のA-ATTメカニズムはVQAにも使えそう．
• 論文

概要

• VQAタスクに用いられる新たなattentionメカニズムdifferential attentionを提案した．これにより，人間のattentionにより近いattentionを得られる．
• 従来のVQA手法でもattentionが広く用いられるが，人間のattentionに関連性が低かった．そこで，認知心理学に広く用いられるexemplarベースな手法を用いてsupporting, opposing exemplarsによりdifferential attention領域を求める．具体的には，①入力画像，質問からreference attention embeddingを求める．②このembeddingによりデータベースから順序を求め，現在の入力と近いsupporting exemplar及び遠いsupporting exemplarを求める．③これらexemplarと入力からdifferential attention vectorを求める．

新規性・結果・なぜ通ったか？

• VQAタスクにexemplar based approachという新たな視点をもたらした．また，提案したdifferential attentionが人間のattentionにより近いことを示した．
• VQA1.0，VQA2.0，HATなどのデータセットにおいてimage attentionベース手法の中で最も良い精度を達成し，Image-Question attentionベース手法と近い精度が得られた．

コメント・リンク集

• 認知心理学の知見をVQAタスクに応用した例．今後も人間のattentionを詳細に検討するべきだと思う．
• 論文

概要

• Dense Video Captioningにおける２つの課題，コンテキスト融合，イベント表現における新たな提案．コンテキスト融合において，過去と将来のコンテキストを利用しevent proposalの予測を行う．また，event descriptionsのdecoderへのより有益な情報を含む入力の作り方を提案した．
• 従来のdense video captioningでは主にforward方向でevent proposalを予測するが，著者らは過去と将来のコンテキストからevent proposalを予測できるbidirectional proposal手法を提案した．また，異なるeventが同じ時間に終了する場合，従来手法では正しく対応できないが，著者らはイベントを動画特徴の隠れ状態のattentive fusionにより表示し，その問題を対応できるようにした． また，動的に現在のイベントと周囲のコンテキストのバランスを取るcontext gatingメカニズムを提案した．

新規性・結果・なぜ通ったか？

• 提案手法のproposalとcaptioningモジュールを従来のフレームワークに適応することで，ActivityNet Captions datasetにおいてSoTAな表現を達成した．(Meteor scoreを4.82から9.65にアップした)

コメント・リンク集

• Bidirectionalも最近よく見られるワード．
• 論文

概要

• VQAタスクに用いられるVisual Knowledge Memory Network(VKMN) を提案した． VKMNは人間の知識と深層視覚特徴をメモリーネットワークにより結合し，VQAの精度を向上できる．
• 自然言語処理のテキストベースなQAタスクに用いられる方法から，確立済みの視覚の知識に基づくVKMNを提案した．①Apparent object(答えが画像から直接読める);②Indiscernible(答えが画像中で小さい);③Invisible objectiveの(直接画像から答えられない)3種類の画像―結果の関係を定義した．また，VKMNはknowledge triples(subject, relation, target)と視覚特徴をvisual knowledge featureにembeddingする．

新規性・結果・なぜ通ったか？

• VQA1.0,VQA2.0において良い結果を達成し，knowledge-reasoningの関係性の質問に対してSoTAな結果を得られた．

コメント・リンク集

• 自然言語処理系のQAに関する知識をVQAに用いることがセンスある．また，従来のV，Qに向けて様々なVQA方法が提出され，knowledge representationのあたりに力を入れるのも良い方向だと思う．
• 論文

概要

既存の動画超解像方法とは根本的に異なるフレームワークとして，動的にアップサンプリングフィルタや残差画像を生成するディープニューラルネットワークを新たに提案する．このアプローチにより，入力画像から直接高解像度画像を得ることができる．新しいデータオーギュメンテーション方法と大量の学習動画を用いることにより，SOTAなパフォーマンスを達成．

新規性・結果・なぜ通ったか？

図に示すように，提案手法はSOTA手法の一つであるVSRnetと比較して，チラツキが減少していることがわかる．さらにバイキュービック法やVSRnet，VESPCN等と比較し提案手法は，PSNR，SSIMの両方においても優れていることがわかった．

コメント・リンク集

• 論文URL

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく．

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく．

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく． ネットワークアーキテクチャとしては2組のU-Netを用いて実現している． 1つ目のU-netでは逆畳み込み層部分を分割して，特徴マップを抽出したものとフォワードマップy1を出力する． これらを合成して2つ目のU-netの入力にする．2つ目のU-netではフラットな画像に修正した画像1枚を出力する． この処理をLossが小さくなるまで繰り返し行う． 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である．しかしテクスチャを使った地形認識では，例えば"grass"と"leaves"は似ているために間違った認識がされることがある． 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である．しかしテクスチャを使った地形認識では，例えば"grass"と"leaves"は似ているために間違った認識がされることがある． 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である．しかしテクスチャを使った地形認識では，例えば"grass"と"leaves"は似ているために間違った認識がされることがある． そこで地形認識のためのDeep Encoding Pooling Network (DEP)を提案した． 事前に学習したCNNを特徴抽出器として利用し，CNNからの出力をtexture encoding layerとglobal average pooling layerに送る． texture encoding layerではテクスチャのdetailを持ちつつ，global average pooling layerが持っていたローカル空間情報を出力する． 30000枚以上の画像を40クラスに分類したGTOSデータセットで学習し，よりリアルな条件下で評価するために，テストデータには携帯のビデオで撮影した81個のビデオをasphaltやsandなどの31クラスに分類したGTOS-mobileデータセットを作成した. ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している．

結果

ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している．

結果

ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している．

結果

ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． (1)人のアノテーションが加わっていないフリーなウェブイメージを利用． (2)Zero-shot Learning(ZSL)を利用． しかし，(1)ではウェブイメージにラベルノイズ付きが多いこと，(2)ではZSLは未だに従来の学習に比べて精度が良くないという問題点が存在する． そこでウェブイメージと補助的なラベルデータを用いてトレーニングデータに関連付けられていないテストカテゴリを予測するフレームワークを提案した． 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． それらを入力とし，sub-viewごとに顕著生マップ（Saliency map）とオブジェクト検出から前景と背景を分けると同時に直線検出（Line segment detection）を行いパノラマ画像を解析し，geometric cueとsemantic cueを推定する． これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 画像を数式化し、それを解く手法をDensly Connected Pyramid Dehazing Networks(DCPDN)とした 霞んだ画像のEdgeなどの構造(TransmissionMapEstimation)と、霞など(AtmosphericLightEstimation)に分離して特徴量を獲得し、それら2つからDehazeImageを作成。 その後、DehazeImagerとEstimation、2つのペアの構造が似ているかをJoint-Discriminatorで識別し学習する。 また、Edgeは画像に分け目でありImageGraduentsに特徴付けらること、輪郭やEdgeのようなlow-levelな特徴量はCNNの最初の方の層で抽出されることの2つの背景から Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 そこでocclusionを発生させた学習データを作ることで精度向上を計る。 始めに、通常通りReIDの学習を行うことでネットワークが画像のどの領域に注目するかを調べる。 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？

従来手法では上半身など画像の一部の領域にのみに注目していたため、注目領域にocclusionがあると精度が下がったのに対して、提案手法により画像全体に注目するようになりocclusionに頑健になった。実際、Rank1 accuracy, mAPどちらもベースラインと比べ数値が向上したことを示した。

コメント・リンク集

同じCVPR2018に重要な領域だけに注目しようとする研究(URL)があり、全体に注目するように学習をするこの研究と真逆を進んでいるのが気になる

• 論文

概要

1枚画像からの行動認識を、類似する動作の記憶を手がかりに行うHybrid Video Memory(HVM)を提案した。 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？

従来手法では上半身など画像の一部の領域にのみに注目していたため、注目領域にocclusionがあると精度が下がったのに対して、提案手法により画像全体に注目するようになりocclusionに頑健になった。実際、Rank1 accuracy, mAPどちらもベースラインと比べ数値が向上したことを示した。

コメント・リンク集

同じCVPR2018に重要な領域だけに注目しようとする研究(URL)があり、全体に注目するように学習をするこの研究と真逆を進んでいるのが気になる

• 論文

概要

1枚画像からの行動認識を、類似する動作の記憶を手がかりに行うHybrid Video Memory(HVM)を提案した。 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？